“刚开始我们用ranfrmer的时候确实是这样,但后来发现两个模块是可以拆开独立使用的。”吴恩达解释道,“我们认为首先得让模型能够读懂意思,最开始我们尝试了两个模块的对比,相同的参数下,编码器模型在语言理解上可以比解码器模型高出至少10%的效果。”
“而且,参数越大,两种模型的效果差距越明显。”
吴恩达没有深入的讲解技术问题,没听到俞总的回应,思考着又说道:“另外,D模型这种编码器,它的结构更简单,推理更快,可以用更少的参数做出更好的效果,我们其实也参照了过去在百度的经验,D—1更适合百度那种高并发和低延迟的海量业务场景,部署成本肯定会远低于同样效果的解码器方案。”
俞兴心中的倾向变得更加清晰了。
他轻轻叹了口气:“吴总,我明白了。”
吴恩达不解:“明白什么了?”
俞兴肯定的说道:“都怪百度。”
都怪百度带来的坏习惯,让吴恩达等人潜意识考虑更适用于它的方案,当然,这仍然只是一种猜想,但验证起来就更简单了。
俞兴基本能够理解这里面可能存在的不同技术路线到底是什么样,也就能够更加精准
的寻找佐证。
吴恩达听着电话里的声音,从头到尾都不明白俞总到底在疑惑什么,这会也只能说道:“俞总,D模型的挖掘潜力还很大,我们是有信心把它做到更好的。”
“没事,吴总,慢慢来,不要考虑机构投资的压力,连我都不懂,他们更不懂了。”俞兴看着面前被自己写出来的东西,随手又在上面画了圈,说道,“吴总,我有问题再给你打电话。”
吴恩达答应了,听着挂断的声音,不知道俞总在忙活什么。
俞兴放下手机,再度拜读吴恩达发来的材料内容,确定自己基本理解可能存在的方向差异,随即把电话打给了刚被PENAI赶走的马斯克。
“埃隆,PENAI是不是在使用ranfrmer解码器进行主要的研究?”
马斯克接到大空头的电话,完全没想到对方会问这个东西。
他答道:“这是什么东西,我不清楚。”
“帮我问问呗。”俞兴说道,“我验证验证想法,过一阵到美国请你喝酒。”
“你要来美国?”马斯克诧异,又说道,“那我要一瓶最好的红酒。”
俞兴毫不犹豫的答应了。
电话结束,等待答案。
大约十分钟,马斯克的回复来了,PENAI确实在使用纯ranfrmer解码器的技术路线,也就是奔着生成的方向。
俞兴看着简讯,感觉这瓶红酒太值了。
(本章完)