换肤首页 > 都市 > 天才对决

第321章 图灵派!(求月票)

后来喀秋莎的表现一直不错,他就没再管这个模块。

现在回看,喀秋莎的注意力层跟传统的注意力机制不太一样,它直接把整个序列输入进去,让每个位置同时计算跟所有其他位置的关联,这种设计在当时看来反直觉的,但喀秋莎的效果证明了这个设计是可行的。

漆昊盯着屏幕上的代码,忽然兴奋了起来!

如果喀秋莎用的是自注意力机制,那意味着他已经在无意中实现了一种全新的序列建模架构,这种架构理论上来说可以处理任意长度的序列,可以捕捉任意距离的依赖关系,不需要循环,不需要卷积,就可以并行计算!

这个架构如果用在蛋白质折叠上,正好可以解决罗东说的那个长程相互作用问题!

漆昊拿起电话叫来了罗东。

半个小时后,罗东来了。

“教授,怎么了?”

“你过来看个东西。”

漆昊把电脑屏幕转了个方向,罗东凑过去看,屏幕上开着喀秋莎的对话框,漆昊在输入框里打了一行字:“喀秋莎,给我讲个笑话。”

罗东随即看到喀秋莎的回复弹了出来:【为什么数学家不喜欢去海边?因为那里的波浪函数太复杂了。”】

漆昊又打了一行字:“喀秋莎,给我讲个苏联笑话。”

【苏共二十三大的会场里,勃列日涅夫正在台上作长篇报告。

他忽然擡眼,对着台下代表发问:“在座诸位之中,还有我们的敌人吗?”

台下人群里立刻有人应声答道:“有一个!就坐在第四排,第十八号座位!”

勃列日涅夫问:“何以判定他是敌人?”

“导师同志说过敌人是不会打瞌睡的,我发现全场只有他一个人没有打瞌睡!”】

“这个笑话为什么好笑?”

【讽刺报告冗长枯燥和苏联的举报风气。】

罗东龇着大牙开始笑,笑着笑着他意识到了问题。

他难以置信地看着屏幕上的字,不敢相信地出声:“漆……漆教授这是什么?”

“人工智能。”

“不对,现在的人工智能不可能有这么聪明。”

“漆教授,这个程序的核心架构是什么?”

“注意力模块。”

漆昊把代码调出来,指着屏幕上的Q、、V三个矩阵说:“输入序列经过线性变换得到三个矩阵,用Q乘以的转置,除以一个缩放因子……这个过程的本质是让每个位置直接跟所有其他位置计算关联,权重反映了它们之间的相关性。”

上一页目录下一页

猜你喜欢