抓取频次突然归零的七个原因排查

昨天还有 300 次抓取，今天日志里一条蜘蛛记录都没有。按命中概率从高到低排查这七个原因。

前三个高频原因

一，服务器防火墙误封蜘蛛 IP 段，命中率最高，先查安全组变更记录。二，DNS 解析故障，蜘蛛解析不到 IP，自查 dig 一下。三，证书过期，https 站证书失效后蜘蛛直接放弃抓取。

中间三个中频原因

四，robots 被改，检查是否出现新的 Disallow。五，站点被挂马返回异常内容，抓几次后被暂停调度。六，CDN 配置变更把蜘蛛请求拦截了。

最后一个低频但致命

七，整站进入人工干预名单，特征是抓取归零伴随 site 全站掉光。前六个都能自查自修，第七个需要先整改再走申诉流程。

排查顺序固定为：防火墙、DNS、证书、robots、挂马、CDN、申诉，从 Infrastructure 到内容的顺序，避免一上来就怀疑被惩罚。