因为速度慢而不敢每次调度都调用一次,导致精度漂移。
“文渊,这就是我把你专门叫过来的原因,”韩路一开口说道, “上次我们聊过的,给汤圆做一个轻量版,你觉得能不能解决这个问题?”
在专业旗舰版被验证过性能之后,再推出参数更小、能力稍弱但是成本低很多的轻量版本来就是业内通行的做法。
一般这种轻量版都是通过蒸馏原始的旗舰模型后训练出来的。所谓蒸馏,指的是把一些高难度的问题输入到旗舰模型中,让它给出答案,再用这些问题和答案作为训练集来给轻量模型做后训练,这样就能以较低的成本让轻量模型拥有旗舰模型70%到80%的能力,实在是一种比较有性价比的做法。
当然了,你也不一定要去蒸馏自己家的旗舰模型,用同样的方法去蒸馏别家的旗舰模型也是可以的。自从汤圆API开放以来,起源集团这边已经发现并且捕捉了不少试图对汤圆1.0进行蒸馏的行为
了,很多请求都来自于美国。
听了韩路一的话,赵文渊沉吟了片刻。
轻量模型确实在这方面有所帮助,甚至于可以考虑像当初的汤圆0.1那样,使用一个极小的模型来进行任务复杂度预测——只要能保证预测精度不会掉得太离谱。
但是——