换肤首页 > 都市 > 首富从AI浪潮开始

第四百四十章 系统一和系统二

第四百四十章系统一和系统二

前后不过两分钟的时间,大会议室就清空了,只留下韩路一和江松然两人。

视频里的赵文渊开口问道:“韩总,是因为算力的事儿?我刚才听老江的意思,进度好像不太够吧?”

江松然点了点头,确实不够。

现在是巧妇难为无米之炊,调度架构做得再好,总的计算卡就这么多张,很难再腾挪出更多的算力了。

韩路一说道:“把你们两个留下来就是想聊这件事,老江,上次咱们做的调度优化,你先给文渊讲一下。”

韩路一说的是在汤圆1.0模型的API正式发售之前,基础设施部门在任务调度上做的一些新的优化架构。

当时碰到的难题是每一个推理任务进来,服务器端都没办法判断任务的复杂程度,也就没法分配合适的资源,如果把大任务分配给了小资源池,任务完成不了,就要重试;反过来,如果把小任务分配给了大资源池,实际上用不上那么多算力,就造成了资源的浪费。

在韩路一的建议下,江松然引入了用汤圆自身来进行调度判断,这种判断任务当然都是小任务,初次判断之后就能规避很多失败场景。因此在相同的算力下,起源的推理集群能支持的并发量直接增加了三分之一。

上一章目录下一页

猜你喜欢