换肤首页 > 都市 > 首富从AI浪潮开始

第六十四章 救火版

韩路一低头开始敲命令。

“要不要把陈建业叫回来?”赵磊问了一句。

“他孩子生病了,別叫了。”韩路一说,眼睛没离开屏幕。

第一步,扩推理实例。

梁宇那边动作快,青岳已经把配额放开了,韩路一在配置文件里把实例数从六个直接拉到二十个,改完推给姜亦心。

“跑这个部署。”

姜亦心接过来,手指都在发抖,但敲得很快,部署脚本跑起来了,终端开始刷日誌。

新实例一个一个上线,监控面板上队列在分流,超时率开始往下掉,三十五……三十……

两分钟后,超时率降到百分之十五。还是高,但至少不是瀑布式崩溃了。

第二步,加速率限制。

韩路一现写了一个中间件:单用户请求频率超过閾值,不再让请求排进队列等到超时,直接返回一个“排队中,请稍后重试”的提示页。

“这个也部署上去。”

姜亦心接过去跑。

效果立竿见影——用户端从“一直转圈”变成“排队中”,带预计排队时间。刷新不再製造新请求,死亡螺旋的输入被切断了。

第三步,分离队列。

现在ai推理和网页页面共用一个请求队列,推理慢了会把页面加载也拖死;要把推理请求分到独立队列,网页服务走另一条通道。

韩路一说了方向,赵磊自己写了配置,改了路由规则,手速比韩路一预期的还快。

“可以了,”赵磊说,“推理队列隔离完了,网页服务不受影响。”

姜亦心部署完最后一版,盯著监控曲线,数字一格一格往下掉。

上一页目录下一页

猜你喜欢