从日志看蜘蛛池效果：如何统计有效抓取与重复抓取

判断一个池子有没有在干活，不要看后台报表，要看你自己服务器上的访问日志。报表可以美化，日志不会说谎。

四个必须统计的指标

独立 IP 蜘蛛数：去重后有多少个蜘蛛 IP 来过。有效抓取 URL 数：返回 200 且非重复的抓取。重复抓取率：同一 URL 七天内被抓两次以上的占比。无抓取天数：连续几天日志里没有蜘蛛访问。

健康的参考区间

接入池子第二周，独立蜘蛛 IP 应该在 20 个以上；重复抓取率低于 35% 属于正常，高于 60% 说明池子导的蜘蛛在空转，多半是入口页面更新频率太低；无抓取天数大于 2 天就要找服务商查链路。

一个简单的统计命令思路

按 UA 过滤出蜘蛛请求，按 IP 去重、按 URL 聚合，用一段 awk 或一个 Python 脚本十分钟就能跑出上面四个数。周报里放这三条曲线：日抓取量、收录增量、索引增量。三条线同向走高，池子就是在正常工作。