换肤首页 > 都市 > 天才对决

第171章 蒙上眼睛做卷子?

“都愣着干嘛?把15层qinet变体网络的训练日志和神经元激活图调出来,给漆老师看。”林晨低声喝道。

“好!马上!”一名博士生如梦初醒,手忙脚乱地在主控电脑上操作起来,将代码,损失曲线以及五颜六色的神经元特征图都调了出来。

漆昊倒是没什么架子,跟众人打了招呼后,走到主实验机前,查看了起来。

看着看着,他的动作慢了下来。

林晨抬起手,做了个都别动的手势。

众人心领神会,集体进入木头人模式。

传说中,qinet的核心结构,就是这位在某个下午想出来的,谁知道现在这沉默的时间里,大佬的脑子里面会在想什么?

时间一点点过去,漆昊的脑子里,正在进行一场高速推演。

研发qinet那段时间,他啃过海量的文献,其中有一篇预印本,提到辛顿的团队做过类似的尝试。

训练时,以某个概率随机地把一部分隐层神经元的输出置零,每一次前向传播,都只有一部分神经元参与。

当时他扫了一眼,记了下来。

他发现这模式是好的,但现在要用的话,需要优化。

漆昊把这个想法放到数学上来看,开始推导了起来。

设保留概率为p,每个神经元以概率p被保留,以概率1-p被临时屏蔽。

一个有n个隐层神经元的网络,每次随机屏蔽一部分,等价于从2的n次方个不同结构的子网络里,随机抽一个出来训练,这些子网络共享同一套权重。

再往深挖一层。

对一个线性回归模型做同样的随机屏蔽,把期望损失展开。

期望损失=原始损失+一个附加项,附加项正比于p(1-p)乘以权重平方与输入平方的加权……

过了一会儿漆昊推导完成。

“林教授。”

“怎么了?”林晨赶紧出声。

“这里要改一下训练流程。”

“每一次前向传播,对隐层神经元做一次随机采样,以百分之五十的概率临时屏蔽,被屏蔽的神经元这一轮不参与前向也不参与反向,每个批次重新采样一次,测试的时候所有神经元都保留,但输出权重乘以零点五。”

“随机屏蔽一半神经元的话,网络每次都是残缺的,信息会大量丢失,训练能收敛吗?会不会更差?”有研究员问道。

这话问出来,好几个人都下意识地点了头。

是啊,本来网络就学不明白,你还给它砍一半?

这不是雪上加霜吗?

就好比一个学生本来就考不及格,你还蒙上他一只眼睛让他做卷子,这能好?

漆昊解释道:“你的担心有道理,但方向反了。”

“信息丢失,恰恰是我们要的东西。”

他在纸上画了三个小圈,标上1、2、3。

“现在的网络为什么过拟合?因为神经元之间在合谋,神经元1发现,只要神经元2和3都在,它就可以偷懒,2和3把某个特征拼出了一半,它随手补个尾巴,训练误差就下去了,它就不需要真的理解这个特征了。”

“整个网络里,全是这种神经元,每个神经元学到的都是残缺的、依附于队友的碎片知识,这些碎片在训练集上拼得严丝合缝,一换数据,拼图散架。“

“现在,我随机屏蔽一半,神经元1突然发现,它的老搭档没了,这一轮它想把误差降下去,就只能靠自己,学一点真正独立有用的东西,下一轮,换神经元3消失,它又得顶上另一块。”

“几十万轮迭代下来,每个神经元都被逼着成了六边形战士,谁也不敢指望谁,因为谁都可能随时消失。”

说完漆昊在草稿上写下了相关的数学推导,林晨知道对方是数学天才,数学专业上没得说,所以简单看了下就拍了板:“所有人立刻调整代码!”

上一页目录下一章

猜你喜欢