“韩总带我们搞的,还有赵磊,三个人从下午五点多干到快八点。”她喝了口水,完全没有要停下来的意思,“我当时都慌了,韩总让我坐他旁边,他给我什么脚本我就跑什么脚本。”
她越说越来劲。
陈建业的脸色越来越难看。
姜亦心感嘆了一声:“我真的是第一次见有人那样排查问题的,连日誌都不看就知道瓶颈在哪,现场写改动,就好像不用思考一样。”
陈建业站在那没动,开物的扩容计划是韩路一让他写的,要求是支撑一万日活,他当时不以为意,按最低標准做的,能支撑两千同时在线,这两千人也不是同时发请求。结果,崩了。
“老陈你脸色不太好,”姜亦心歪了一下头,“昨天孩子看病累著了吧?”
“有点。”
“那你多喝热水啊。”
姜亦心走了。
陈建业也在工位坐下来。
打开飞书,群里置顶了一份文档,是韩路一写的,標题是《9.29线上事故復盘》,他点进去,从头开始看。
开头是事故时间线:16:27在线人数突破五千,16:31推理队列明显堆积,16:38首批用户超时,16:52超时率突破40%。
影响范围:全部在线用户,持续约三小时,预估流失用户数待统计。
然后是根本原因分析,用的五个为什么方法:
为什么服务崩了?用户量超出设计上限。
为什么用户量超出上限?社交媒体病毒式传播,增长超出预测。
为什么超出了没有预警?没有设监控閾值。
为什么没有设监控閾值?上线流程里没有。