大型站点的抓取预算分配：分区治理思路
几十万页的站点靠分区治理抓取预算：核心区保供、长尾区提效、边缘区封禁。
页面量上十万后，抓取预算管理从优化项变成生存项。核心思路是把站点分成三个区区别对待。
核心区：保供
首页、主栏目、近期内容，占预算大头。保证更新稳定、响应快、内链充分，这块区域的抓取量就是基本盘。
长尾区：提效
历史内容与专业长尾页，靠标签网、相关推荐、时间归档保持连通。目标是让它们维持低频但稳定的回访，每次抓取都有完整内容可拿。
边缘区：封禁
过期活动页、废弃功能页、无价值参数页，明确排除。不封禁的边缘区会像黑洞一样吸走预算。
分区监控
日志按分区聚合统计抓取占比，核心区跌破一半就是警报。预算是零和的，边缘区多抓一页，核心区就少抓一页。
滚动审视
每季度重新划一次区，昨天的核心区可能变成今天的长尾区。分区是动态的，机制要留在流程里。