“都愣着干嘛?把15层qinet变体网络的训练日志和神经元激活图调出来,给漆老师看。”林晨低声喝道。
“好!马上!”一名博士生如梦初醒,手忙脚乱地在主控电脑上操作起来,将代码,损失曲线以及五颜六色的神经元特征图都调了出来。
漆昊倒是没什么架子,跟众人打了招呼后,走到主实验机前,查看了起来。
看着看着,他的动作慢了下来。
林晨抬起手,做了个都别动的手势。
众人心领神会,集体进入木头人模式。
传说中,qinet的核心结构,就是这位在某个下午想出来的,谁知道现在这沉默的时间里,大佬的脑子里面会在想什么?
时间一点点过去,漆昊的脑子里,正在进行一场高速推演。
研发qinet那段时间,他啃过海量的文献,其中有一篇预印本,提到辛顿的团队做过类似的尝试。
训练时,以某个概率随机地把一部分隐层神经元的输出置零,每一次前向传播,都只有一部分神经元参与。
当时他扫了一眼,记了下来。
他发现这模式是好的,但现在要用的话,需要优化。
漆昊把这个想法放到数学上来看,开始推导了起来。
设保留概率为p,每个神经元以概率p被保留,以概率1-p被临时屏蔽。
一个有n个隐层神经元的网络,每次随机屏蔽一部分,等价于从2的n次方个不同结构的子网络里,随机抽一个出来训练,这些子网络共享同一套权重。
再往深挖一层。
对一个线性回归模型做同样的随机屏蔽,把期望损失展开。
期望损失=原始损失+一个附加项,附加项正比于p(1-p)乘以权重平方与输入平方的加权……
过了一会儿漆昊推导完成。
“林教授。”
“怎么了?”林晨赶紧出声。
“这里要改一下训练流程。”
“每一次前向传播,对隐层神经元做一次随机采样,以百分之五十的概率临时屏蔽,被屏蔽的神经元这一轮不参与前向也不参与反向,每个批次重新采样一次,测试的时候所有神经元都保留,但输出权重乘以零点五。”
“随机屏蔽一半神经元的话,网络每次都是残缺的,信息会大量丢失,训练能收敛吗?会不会更差?”有研究员问道。
这话问出来,好几个人都下意识地点了头。
是啊,本来网络就学不明白,你还给它砍一半?
这不是雪上加霜吗?
就好比一个学生本来就考不及格,你还蒙上他一只眼睛让他做卷子,这能好?
漆昊解释道:“你的担心有道理,但方向反了。”
“信息丢失,恰恰是我们要的东西。”
他在纸上画了三个小圈,标上1、2、3。
“现在的网络为什么过拟合?因为神经元之间在合谋,神经元1发现,只要神经元2和3都在,它就可以偷懒,2和3把某个特征拼出了一半,它随手补个尾巴,训练误差就下去了,它就不需要真的理解这个特征了。”
“整个网络里,全是这种神经元,每个神经元学到的都是残缺的、依附于队友的碎片知识,这些碎片在训练集上拼得严丝合缝,一换数据,拼图散架。“
“现在,我随机屏蔽一半,神经元1突然发现,它的老搭档没了,这一轮它想把误差降下去,就只能靠自己,学一点真正独立有用的东西,下一轮,换神经元3消失,它又得顶上另一块。”
“几十万轮迭代下来,每个神经元都被逼着成了六边形战士,谁也不敢指望谁,因为谁都可能随时消失。”
说完漆昊在草稿上写下了相关的数学推导,林晨知道对方是数学天才,数学专业上没得说,所以简单看了下就拍了板:“所有人立刻调整代码!”