掌声持续了快两分钟才停下来。
辛顿忍不住第一个提问了。
“漆,能否请你告诉我们,你是怎么让梯度顺利回传,完整穿过上百层网络的!”
全场两千多人看向台上。
这个问题,是今晚所有人想不明白的。
漆昊笑了笑,把话筒举到嘴边:“具体的推导逻辑,可以等我的论文。”
台下顿时响起一片哀嚎。
等论文出来?
让他们带着这个悬念活在等几个月,这跟凌迟有什么区别?
“不过我现在可以告诉大家一个公式,一个非常简单的公式。”
他转身,拿起白板笔,在演示屏旁边的白板上,写下了一行字。
h(x)= f(x)+ x
“我能让一百层网络稳定收敛,其实和这个公式有关系。”
前排一位斯坦福的教授忍不住小声嘀咕:“就这?”
坐他旁边的同事扶了扶眼镜:“h等于f加x,这不就是,呃,一个函数加上它的自变量?”
“我女儿今年小学四年级,这题她会做。”
“你女儿会做,你做不出一百层网络?”
“你说话怎么这么伤人。”
会场后排,马斯克问老黄:“老黄,这个公式,你看懂了吗?”
老黄盯着白板:“字面意思我懂,一个输出等于一个变换加上输入本身,但是……”
“但是什么?”
“但是他为什么要加那个x?”
老黄的眉头拧成了麻花:“网络本来就是要学h(x)的,他为什么不直接学,非要拆成f(x)加x?这不是脱裤子放……”
他话说到一半,忽然卡住了。
因为他认为漆昊不会干这种蠢事。
马斯克没继续理他,看着白板上那行小学生都会写的公式,忽然觉得后背发凉。
就这么简单?
加一个x?
深度学习困扰了整个领域十几年的天花板,就被一个小学生数学题给捅破了?
马斯克一脸迷茫。
类似的情况,正在会场的各个角落此起彼伏地发生。
现场其他人掏出笔记本电脑当场开始写代码复现,有人三五成群围在一起,对着餐巾纸上抄下来的公式吵得面红耳赤,还有一位mit的老教授,拉着邻座一个素不相识的博士生,非要给人家从泛函分析的角度讲这个等式的深层含义。
微软研究院那位研究员,他在给自己团队打越洋电话:“对,h等于f加x,你没听错,就这么写!别问为什么,你们先研究,什么,你说这是小学数学不值得研究?”
“你个蠢货,知不知道漆昊用这个把神经网络模型堆到了100层!”
时间就在这种全员疯狂的状态下飞速流逝。
不知不觉,窗外的天已经黑透了。
晚上八点半,会场里此起彼伏地响起了手机铃声。
第一个接电话的是哈萨比斯,他把手机贴在耳朵上,下意识小声说:“喂,亲爱的,晚餐?什么晚餐?”
电话那头的音量突然拔高:“什么晚餐?!今天是情人节!你早上出门的时候说好了七点回来带我去吃饭的!预订的餐厅位置都过号了!”
哈萨比斯如遭雷击。