蜘蛛陷阱之无限日历页:症状、定位与拆除
日历归档页可以翻到未来日期,蜘蛛陷入无限抓取。一个典型案例的定位过程与三种拆除方案。
无限日历是老牌蜘蛛陷阱:点进归档可以一直翻到下一年、下十年,每个日期都是新URL。
症状
日志里大量日期格式的URL被抓;收录量虚高但全是空归档页;正文抓取量占比持续下降。
定位
日志按URL模式聚合,日期类URL单日上千条基本坐实。再检查这些页面的内容:绝大多数是空列表或占位内容。
拆除方案一:程序截断
未来日期与无内容日期直接返回404,只保留有真实文章的日期页。
拆除方案二:取消链接暴露
归档导航只链接到有内容的月份,上一月下一月的链接做条件判断,空月份不再输出。
拆除方案三:规范化
保留页面但noindex加canonical到月份聚合首页,适合历史包袱重、改动成本高的站。
同类陷阱提醒
无限标签组合、按字母翻页、打印版本参数,都是同一个家族,排查时一并处理。