搜索参数页面的抓取爆炸：一个治本方案

站内搜索页被蜘蛛爬穿的症状：日志里大量带关键词参数的URL，收录里堆满搜索结果页，正文收录反而不动。

为什么会被爬穿

搜索页之间互相链接：每个结果页都带着相关搜索、热门搜索的链接，形成无限网。蜘蛛每抓一页就发现十个新入口。

治理三件套

第一层canonical：所有搜索变体URL规范指向一个地址或直接不出现在链接里；第二层noindex：搜索结果页加noindex标签，允许抓取但不进索引；第三层robots兜底：对无价值的参数路径直接Disallow。

治本：入口改造

把页面上暴露的搜索链接改成表单提交（蜘蛛不提交表单），热门搜索改用人工维护的标签聚合页承接。入口没了，抓取自然回落。

改造后观察

两周内搜索类URL的抓取占比应降到百分之五以下，省下的配额会自动流向正文页，表现为正文抓取频次上升。