换肤首页 > 都市 > 首富从AI浪潮开始

第四百四十一章 新模型,新名字

两人又飞快地对视了一眼,只是眼神中的含义并不相同。

韩路一的眼神中分明是:“原来你是个 Emacs党。”江松然则有些惴惴不安,竟然在最不该站错队的地方站错队了。

故意问出这个问题的赵文渊此时正在偷笑,他早就通过观察发现两个人对代码编辑器的偏好不同了。

“但是如果我现在问你,在二十种果酱里选一种,你几乎不可能一瞬间就做出选择;如果我让你现在写一篇两百字的文章,别看只有两百字,这也不是系统一能够完成的任务。你们看到问题的所在了吗?”赵文渊说道。

韩路一思考了一下,说道:“你是指输出的格式吧,无论是是否问题还是二选一问题,他们的输出格式都极为简单,不需要一个词元一个词元的进行生成。”

江松然在旁边补充道:“听起来还有答案域的问题,输出的答案域覆盖得越广,计算也就越复杂。”

两人这个时候都意识到赵文渊为什么会把系统一和系统二的话题拿出来讨论了。

因为对计算任务进行复杂度预测,然后分类,然后规划调度,这个任务天然就是一个系统一的任务,答案域极为狭窄,无非是简单、中等、复杂三档,想要分得再细致一些,五档也绰绰有余了。

韩路一开口问道:“所以这类任务,有比使用汤圆的轻量版更好的解法?”

视频里的赵文渊露出一副高深莫测的笑容:“有的,韩总,有的。”

然后他开始解释道:“当初 Transformer架构刚出来的时候,用的是编码器-解码器 (Encoder-Decoder)架构,但是现在的类PT架构的大模型,包括汤圆,全都使用的是只有解码器的架构。这当然是因为这个路线足够优秀,能够解决非常复杂的问题。但是实际上不同的路线适用的是不同的问题,我们刚才讨论的这种分类问题,有一种更适合的架构,就是只有编码器的架构。”

江松然此时惊讶地出声道:“你是说BERT?”

韩路一慢了一拍才反应过来。BERT是谷歌在2018年提出的一种技术路线,在PT出来之前也曾经在机器学习领域非常热门,但是随着类PT模型成为市场主流,现在已经渐渐没什么提起了。

“你是说?”韩路一问道。

上一页目录下一页

猜你喜欢