Nginx蜘蛛日志分割与干扰爬虫封禁

把蜘蛛请求按真伪分流到不同日志，真蜘蛛进分析日志，假蜘蛛直接封禁，是日志运维的标准架构。

Nginx map分流

http块配置 map $http_user_agent $spider_class { ~*Baiduspider real; ~*Googlebot real; default unknown; }，server块里分别记录 real.log 和 fake.log。

真蜘蛛日志接入分析

real.log作为SEO分析的数据源，接日志分析脚本生成抓取日报。

假蜘蛛自动封禁

fake.log里的高频IP用fail2ban或定时脚本自动加入封禁列表。设置阈值如单IP每分钟超过60次即封24小时。

定期复核

每周抽查fake.log的封禁IP，跑一遍真伪验证，防止把新上线的真蜘蛛IP误封。

判断标准与参考数据

假蜘蛛流量封禁后周下降70%以上；真蜘蛛抓取不受任何影响。

注意事项

封禁列表要有自动过期机制，永久封禁可能误伤动态IP的合法服务；CDN场景下要在真实IP层做判断。