罗东盯着那段代码眼睛都不敢多眨。
“等等,这个机制……每个位置都跟所有其他位置直接计算关联,不需要经过中间层累积,不需要循环,不需要卷积,整个序列可以并行处理?”
“对。”
“那这不就是蛋白质折叠需要的东西吗?每个残基都跟所有其他残基直接计算关联,序列上距离很远的两个残基如果在三维空间里靠得很近,注意力机制直接就能捕捉到这种关联,不需要卷积网络那种层层传递的局部感受野累积。”
漆昊点了点头:“你说对了,我刚才叫你来就是想说这件事。”
罗东激动地在漆昊房间里面转起了圈,一边走一边还在碎碎念。
“漆教授,如果把这个注意力模块从喀秋莎里面抽出来,单独用在蛋白质折叠上,输入就是氨基酸序列的e-h编码,输出就是注意力矩阵,这个矩阵可以告诉我们哪些残基对之间的关联最强,我今天跟药企那边人了解了,这种最强的关联往往就是决定折叠形态的关键相互作用。”
“对,而且注意力矩阵本身是可解释的,不需要事后分析,训练完之后打开矩阵一看,哪些残基对折叠贡献大,哪些残基对稳定性关键,一目了然。”
罗东深吸了一口气。
他没想到他本来打算在后面几个版本实现的东西,居然就这么出现了!
漆教授是神吧!
罗东按下激动的心情,说:“这个东西如果做出来,我认为它的角色不只是折叠引擎的一部分,它完全可以成为一个独立的产品,药企可以拿它做结构解读,科研机构可以拿它做相互作用分析,像是做分子动力学的团队也可以用它来筛选关键残基对,缩小模拟的范围。”
“对,所以我才让你先跑通架构,训练的事慢慢来,等架构稳了,我们再考虑怎么把这个东西单独打包成一个工具。”
“训练数据从哪来呢?”
“药企那边会给,比如突变体数据可以帮模型理解序列变化对结构的影响,注意力矩阵的监督信号可以从突变体数据里推导出来,如果某个残基突变之后蛋白稳定性大幅下降,说明这个残基在折叠过程中跟其他残基的相互作用很强,注意力权重应该高。”
罗东连忙记了下来,说:“这个思路可以,但突变体数据是间接监督,精度可能不够,如果能有一些直接的结构数据做监督,比如已知的接触图,效果会更好。”
“PDB里有接触图数据,你们可以和药企的人合作先整理一份出来,跟突变体数据合并,做一个混合监督的训练集。”
“那我明天,不我从今晚开始搭架构!”
罗东比漆昊想象中的还要积极。
他回到实验室后,立刻开始跟沃罗宁等人讲自注意力机制架构。
沃罗宁等人哪听过这种反直觉的东西。
当场反驳了起来。
罗东露出了向往的神色,说:“你们不懂,我亲眼见过她,可以说,她是我见过最美的架构了。”
沃罗宁第一个开口:“你是指那个注意力模块?”
“对。”
“一个代码模块,你用美来形容?”