缓存策略对蜘蛛抓取的影响：三层缓存怎么配
浏览器缓存、CDN缓存、服务端缓存各管一段，配错层次会让蜘蛛拿到旧内容。
缓存是提速利器，配错层次会让蜘蛛长期拿旧内容，地图与推送都在白做。
第一层：服务端缓存
动态页面渲染结果缓存，蜘蛛与用户共用。注意失效钩子：内容更新必须主动清对应缓存，否则新文章发布三天蜘蛛还在抓旧列表。
第二层：CDN缓存
按路径与参数配置规则。正文页可以长缓存，列表页短缓存，搜索与个人信息绝不缓存。配合 purge 接口，发布后秒级刷新。
第三层：浏览器缓存
静态资源用内容哈希做文件名，配一年强缓存。这层与蜘蛛关系最小，却最常被误配成HTML也长缓存，导致回访频率被迫拉长。
检验方法
发布一篇新内容，立刻模拟抓取列表页与正文页，都应马上可见。任何一层延迟超过五分钟，链条就断了。
缓存与新鲜度不是对立面，分层配对，两边都要。