后来喀秋莎的表现一直不错,他就没再管这个模块。
现在回看,喀秋莎的注意力层跟传统的注意力机制不太一样,它直接把整个序列输入进去,让每个位置同时计算跟所有其他位置的关联,这种设计在当时看来反直觉的,但喀秋莎的效果证明了这个设计是可行的。
漆昊盯着屏幕上的代码,忽然兴奋了起来!
如果喀秋莎用的是自注意力机制,那意味着他已经在无意中实现了一种全新的序列建模架构,这种架构理论上来说可以处理任意长度的序列,可以捕捉任意距离的依赖关系,不需要循环,不需要卷积,就可以并行计算!
这个架构如果用在蛋白质折叠上,正好可以解决罗东说的那个长程相互作用问题!
漆昊拿起电话叫来了罗东。
半个小时后,罗东来了。
“教授,怎么了?”
“你过来看个东西。”
漆昊把电脑屏幕转了个方向,罗东凑过去看,屏幕上开着喀秋莎的对话框,漆昊在输入框里打了一行字:“喀秋莎,给我讲个笑话。”
罗东随即看到喀秋莎的回复弹了出来:【为什么数学家不喜欢去海边?因为那里的波浪函数太复杂了。”】
漆昊又打了一行字:“喀秋莎,给我讲个苏联笑话。”
【苏共二十三大的会场里,勃列日涅夫正在台上作长篇报告。
他忽然擡眼,对着台下代表发问:“在座诸位之中,还有我们的敌人吗?”
台下人群里立刻有人应声答道:“有一个!就坐在第四排,第十八号座位!”
勃列日涅夫问:“何以判定他是敌人?”
“导师同志说过敌人是不会打瞌睡的,我发现全场只有他一个人没有打瞌睡!”】
“这个笑话为什么好笑?”
【讽刺报告冗长枯燥和苏联的举报风气。】
罗东龇着大牙开始笑,笑着笑着他意识到了问题。
他难以置信地看着屏幕上的字,不敢相信地出声:“漆……漆教授这是什么?”
“人工智能。”
“不对,现在的人工智能不可能有这么聪明。”
“漆教授,这个程序的核心架构是什么?”
“注意力模块。”
漆昊把代码调出来,指着屏幕上的Q、、V三个矩阵说:“输入序列经过线性变换得到三个矩阵,用Q乘以的转置,除以一个缩放因子……这个过程的本质是让每个位置直接跟所有其他位置计算关联,权重反映了它们之间的相关性。”