栏目页和内容页的抓取权重：谁该拿配额
配额在栏目页和内容页之间怎么分配最划算，从蜘蛛视角讲清两类页面的分工。
一个健康站点的抓取结构是金字塔：首页塔尖，栏目页骨架，内容页主体。配额分配失衡都发生在骨架环节。
栏目页的本职
栏目页是分流器，不该自己消耗过多抓取。症状是栏目翻页被海量抓取而正文页不动，说明栏目页没有把蜘蛛送进内容，而是在自己身上打转。
健康比例
日志统计里，内容页抓取占比应在六成以上。栏目页占两成左右属正常，超过四成就要检查栏目链接结构。
把蜘蛛送进去
栏目页第一屏直接输出最新正文链接，正文标题里带关键词，让蜘蛛觉得这条路径性价比高。纯图片无文字的栏目封面墙，对蜘蛛是低信息页面。
内容页的反哺
正文里输出同栏目相关文章，形成内容之间的横向链接网。蜘蛛在内容层停留越久，整个栏目获得的调度越多。
调整方法
控制栏目翻页深度，栏目页只保留最近与最热的入口，其余交给时间归档。两周后对比抓取占比，方向对了数字会说话。