换肤首页 > 都市 > 首富从AI浪潮开始

第四百四十章 系统一和系统二

但这是江松然他们在应用端对汤圆的一种应用方式,现在韩路一把赵文渊叫过来,是想看看在模型层面上能不能再做一些优化,把性能再提高一些。

没办法,如果起源也能像谷歌、OpenAl一样算力富裕,甚至能有鼎盛那么多算力也行,那么这些在软件层面的优化就并不急迫,甚至不做也行。

但是现在硬件方面的算力捉襟见肘,就只能从软件层面想办法了。

江松然点了点头,把困扰基础设施部门许久的问题说了出来:“用汤圆来做初次的调度判断确实极大的提高了资源分配的效率,但是我们也逐渐发现了两个问题。”

“什么问题?”赵文渊问道。

“速度太慢了。”江松然说道,当初韩路一提出用汤圆模型来做路由的时候他就想到了这个问题,每秒钟数万的并发请求,如果每一个请求都要提前过一遍汤圆,相当于直接把请求数翻倍了。还是韩路一提出了一个折中的方案,对于多步骤的请求,只对第一步进行任务难度的估算。

但即使是这样,一次估算也要消耗数百毫秒的时间。可别觉得几百毫秒很短,在高并发场景下,几百毫秒的延迟可能就会引发雪崩效应——延迟导致请求超时,超时又会引发重试,无效请求增多,甚至导致整个服务不可用。

“赵总,汤圆本身是大参数模型,即使是采用了稀疏架构,一次几百毫秒的用时也不是调度层能够承受得起的。慢是第一个问题,还有因为慢导致的第二个问题。汤圆用来做任务预测精度虽然高,但是延迟太长,我们只敢在任务链开始的时候加上,之后就只能依赖第一次的预测结果,可是有些用户请求是在交互的过程中突然增加了复杂度,这就导致还是使用第一次的测算结果就导致不准。”江松然说道。

韩路一在旁边也听懂了,江松然虽然说了两个问题,但其实本质还是速度慢。

上一页目录下一页

猜你喜欢