CDN开启后如何看清蜘蛛的真实行为
CDN会让日志失真：讲清回源日志、边缘日志与真实IP还原的方法，别再对着错误数据做决策。
开了CDN之后，很多站长发现日志里蜘蛛消失了，其实不是不来，是日志看错了位置。
问题根源
服务器上的回源日志只记录CDN回源的请求，命中缓存的部分不会出现。如果缓存命中率七成，你看到的蜘蛛量只有真实量的三成。
解法一：用CDN边缘日志
主流CDN都提供边缘访问日志下载，那里才有全量记录。把日志分析脚本的数据源换成边缘日志，结论立刻恢复正常。
解法二：还原真实IP
回源日志里客户端IP是CDN节点。配置CDN回源时带上真实客户端IP的头，服务器日志格式改成记录该头，蜘蛛IP段统计才能继续工作。
解法三：区分缓存命中
在日志里加缓存命中状态字段。蜘蛛请求大量命中边缘缓存其实是好事，说明响应快；但如果连内容页都长期命中不回源，要检查缓存规则是否把动态页面也缓存了。
后续动作
CDN环境下判断抓取健康度，用站长平台的抓取数据加边缘日志双口径交叉验证，只看单一来源必错。