UA封禁误伤主流蜘蛛：一次排查实录与白名单方案
从"蜘蛛突然不来"的现象出发，还原UA防火墙规则误伤的排查过程，附主流蜘蛛UA核对清单。
一个真实场景：站点改版后蜘蛛量断崖下跌，收录停滞，服务器一切正常。最后的原因是运维在新防火墙里封了一段UA特征，正好命中主流蜘蛛。
为什么会误伤
自封的UA规则往往按关键词匹配，比如带bot、spider字样一律拦截。主流蜘蛛的UA里恰好都有这些词。
排查三步
第一步在日志里确认蜘蛛是否还有请求记录，有请求但状态码是403，基本可以断定被拦；第二步用蜘蛛UA字符串模拟请求复现；第三步逐条核对防火墙与安全软件的UA规则。
白名单方案
放行策略不要按关键词黑名单，而是按已验证的蜘蛛IP段与UA正向白名单。主流引擎都在官方文档公布蜘蛛IP段与命名规则，核对UA加反向DNS双验证再放行。
上线流程补丁
任何涉及访问控制的变更，加一步回归验证：用至少两个引擎的蜘蛛UA请求首页与内容页，确认返回200。这条规则执行一次，能避免一整类事故。