蜘蛛池与CDN：动静分离下如何让蜘蛛抓得动

上了 CDN 的站，蜘蛛看到的是缓存节点。配置不当会出现蜘蛛反复抓到旧缓存，或者被节点限速，收录迟迟不动。

三个必要配置

蜘蛛 UA 的请求不做地域调度，回源到固定节点，避免每次抓取都算新 IP 访问。HTML 缓存时间控制在 10 分钟以内，动态内容走短缓存或回源。静态资源长缓存加版本号，减少重复下载拖慢渲染评估。

一个判断方法

对比 CDN 日志和源站日志的蜘蛛请求量。如果 CDN 层有大量蜘蛛请求而源站没有，说明蜘蛛在吃缓存，新内容发现会延迟一个缓存周期；如果两层都少，才是抓取意愿问题。

与池子的配合

池站入口页指向的应该是稳定快速的可缓存页，业务站详情页可以短缓存。让蜘蛛在最短的路径上拿到最新内容，是动静分离场景下收录加速的核心原则。