……
大洋彼岸,加州,山景城。
还是谷歌园区主楼顶层的那间会议室。
实测启动那天,这间屋子里人人都觉得,新范式的大门已经被推开了。
结果这些天烧下来,把众人的热情都烧没了。
会议室的白板写满了推导,但是都是被红笔成叉掉的。
“……我再说最后一遍。”
预训练总监的嗓子已经哑了。
“重排算子本身没有错,错的是它要的那组正交基。”
“zeta函数的基底是从解析式里推出来的,是唯一的。”
“可注意力矩阵的谱是活的呀,我们只能靠采样去估计。”
“估计误差的上界是什么?噪声除以谱隙。”
“偏偏负责长程检索的那几个特征向量全挤在谱的尾部里,那里的谱隙是趋于零的。”
“分母趋零。”
“各位,分母趋零意味着什么,不用我翻译了吧?”
会议室里没人接话。
tp平台的负责人说道。
“离线估基检索长度超过三十万词,召回当场就崩盘了。”
“在线估基,每条输入单独跑一遍特征分解,开销是它省下来的缓存的四倍。”
“我们等于花钱,买了个更慢的东西。”
“那就端对端,让模型自己学这组基。”
角落里,deepmind那位年轻研究员开口了。
“训练过了。”