“传统的BERT大概是在几亿参数这个级别,而且因为不需要自回归生成预测,它不需要反复地进行前向运算,只需要一次就能得出结论,对于我们刚才说的分类任务,完全可以做到50毫秒以内。”
“多少?”江松然的呼吸都变得急促了。
“还不止,我刚才说的是通用分类器,使用这个思路,我们完全可以训练对调度任务进行特化的分类器,汤圆API开放到现在我们积攒的调度数据就足够进行训练了,这种情况下我们连几亿的参数都不需要,可以把参数压缩到千万这个级别,这种模型的一次运算——”
赵文渊一口气说了一大段话,也是越说越兴奋,说到这特意停顿了一下,才伸出两只手,五指张开,说道:“我说一个数,10毫秒。”
“不可能!”江松然脱口而出。
韩路一倒是没有表态,现在还只是在讨论技术方向,10毫秒的任务分类确实很夸张,这个速度都能赶上用代码写死的规则集分类了,更别提用模型动态分类了。
但是即使达不到10毫秒,50毫秒也足以让每一次任务调度都跑一次这个新的分类器模型了,如果还能保持现在汤圆1.0的精确度的话,整个调度层的效率还能再往上提一大截。
同样的硬件,同样的算力集群,通过这种优化就可以发挥出比之前高好几成的效果来。
“文渊,这个技术思路你想了多久了?”韩路一问道。
视频里的赵文渊一愣,然后“嘿嘿”笑了两声,说道:“韩总,我是咱们讨论的时候刚想出来的。”
霍,听起来像模像样的,竟然还是刚刚头脑风暴出来的。
“那如果做这个技术验证,需要多久?”韩路一继续问道。
“几千万参数的话,包括前面的数据清洗加上后面的调参,我估计一两个星期就能做出个原型出来。”赵文渊想了想,说道。
然后他看了一眼韩路一,突发奇想道:“韩总,您要不要——”