服务器带宽与蜘蛛高峰：错峰的艺术
蜘蛛抓取有高峰，用户访问也有高峰。让两者错开，小带宽也能稳住两头。
小水管服务器的经典难题：蜘蛛一来，用户卡顿；限制蜘蛛，收录下滑。解法是错峰。
第一步：摸清两个高峰
从日志统计蜘蛛与真人流量的小时分布。多数站点蜘蛛高峰在凌晨，用户高峰在白天晚间，天然错开；重叠严重的站需要人为干预。
第二步：内容发布错峰
定时发布安排在蜘蛛高峰前，用户高峰期不做大促式的集中更新，避免触发集中抓取。
第三步：缓存扛蜘蛛
列表页、首页做整页缓存，蜘蛛抓到的是静态响应，带宽压力骤降。正文页更新频率低，同样适合长缓存。
第四步：实在扛不住再限频
站长平台提供抓取频次设置，下调一档观察几天。这是最后手段，限频直接减少抓取机会。
效果指标
峰值带宽占用、用户请求P95响应时间、蜘蛛日抓取量三个数一起看，前两个稳住且第三个不明显掉，错峰就算成功。