首先我对别人抓取我网站的内容完全没有意见，我也不是一定要严格限制别人抓取，但是某些人的抓取完全没有底线，用一个脚本甚至多个脚本并发的去抓取某个服务器的内容，跟ddos没有区别。
我的服务器目前就遇到了这样的情况，恶意的毫无停顿的抓取，严重影响了我们的日志分析，而且也额外增加了服务器的负载。
请问如何对这种行为做出防范？我用的是nginx服务器，据我所知它只能deny某个ip，但是deny以后还是会出现在日志中，只不过是403了。而且手动的deny太被动了，能否智能判断某个ip访问量猛增，然后把它ban掉？
