换肤首页 > 都市 > 首富从AI浪潮开始

第四百四十一章 新模型,新名字

“传统的BERT大概是在几亿参数这个级别,而且因为不需要自回归生成预测,它不需要反复地进行前向运算,只需要一次就能得出结论,对于我们刚才说的分类任务,完全可以做到50毫秒以内。”

“多少?”江松然的呼吸都变得急促了。

“还不止,我刚才说的是通用分类器,使用这个思路,我们完全可以训练对调度任务进行特化的分类器,汤圆API开放到现在我们积攒的调度数据就足够进行训练了,这种情况下我们连几亿的参数都不需要,可以把参数压缩到千万这个级别,这种模型的一次运算——”

赵文渊一口气说了一大段话,也是越说越兴奋,说到这特意停顿了一下,才伸出两只手,五指张开,说道:“我说一个数,10毫秒。”

“不可能!”江松然脱口而出。

韩路一倒是没有表态,现在还只是在讨论技术方向,10毫秒的任务分类确实很夸张,这个速度都能赶上用代码写死的规则集分类了,更别提用模型动态分类了。

但是即使达不到10毫秒,50毫秒也足以让每一次任务调度都跑一次这个新的分类器模型了,如果还能保持现在汤圆1.0的精确度的话,整个调度层的效率还能再往上提一大截。

同样的硬件,同样的算力集群,通过这种优化就可以发挥出比之前高好几成的效果来。

“文渊,这个技术思路你想了多久了?”韩路一问道。

视频里的赵文渊一愣,然后“嘿嘿”笑了两声,说道:“韩总,我是咱们讨论的时候刚想出来的。”

霍,听起来像模像样的,竟然还是刚刚头脑风暴出来的。

“那如果做这个技术验证,需要多久?”韩路一继续问道。

“几千万参数的话,包括前面的数据清洗加上后面的调参,我估计一两个星期就能做出个原型出来。”赵文渊想了想,说道。

然后他看了一眼韩路一,突发奇想道:“韩总,您要不要——”

上一页目录下一页

猜你喜欢