网站应急预案:出事时的行动剧本

故障时刻的每一分钟都在流血,没时间思考,只能执行。预案就是提前写好的思考。

预案的要素表

每类故障一页纸:现象描述、判断步骤、处理动作、升级路径、对外话术。五要素齐全,新手也能按图操作。

五类必写预案

一:整站不可访问,从拨测到服务器层的逐级排查;二:数据库故障,主从切换与数据校验;三:被入侵篡改,隔离、取证、恢复、加固的顺序;四:数据误删,备份恢复流程与增量补齐;五:流量暴增,扩容与降级方案。

升级路径

明确什么情况通知谁:十分钟未恢复上报负责人,三十分钟启动全员响应。姓名电话写进预案,不写岗位名称。

演练方法

每季度抽一个预案做桌面推演:假想故障发生,各自说动作,暴露预案的漏洞。每年做一次真演练,在测试环境真实执行。

预案的维护

每次真实故障后,复盘并更新预案。预案是活的文档,躺在文件夹里三年没动的预案,等于没有。