换肤首页 > 都市 > 天才对决

第100章 这是数学!(5k)

「我们复活了那个在学术界几乎快要被扫进历史垃圾堆的技术,人工神经网络,确切地说,是卷积神经网络CNN。」

「CNN?」佩罗宁皱着眉说。

「杨力昆在90年代搞的那个LeNe?」

「那玩意儿不是只能识别手写邮政编码吗?面对ImeNe:这种上百万张,上千个分类的复杂现实图片,神经网络那可怜的拟合能力和让人绝望的计算效率,根本就走不通嘛!」

「是的,就是杨力昆先生所提出的LeNe,大家都知道深度神经网络有三大难题,梯度消失导致的无法收敛,参数过多导致的严重过拟合,以及惊人的计算量。」

「我设计的QIne一共包含5个卷积层,3个全连接层。」

「首先,是关于梯度消失和收敛速度的问题,传统神经网络喜欢用imoid或者n

作为激活函数,但这两种函数在输入值较大时,梯度会趋近于零,导致深层网络在反向传播时根本无法更新参数。」

「在座的各位想必都被那种训练了三天三夜,损失函数纹丝不动的痛苦折磨过。」

台下的研究员们不由自主地点头。

这苦他们确实都吃过。

「我们的解决方案其实非常简单,直接弃用了复杂的双曲正切和逻辑函数,采用f()=m(0,)。」

「我们称之为ReI,也就是修正线性单元。」

「在相同的网络结构下,使用ReI的QIne,其收敛速度比使用n的网络快了6倍!

35

然而,外行看热闹,内行看门道,台下的学者研究员们,都听懂了他的意思。

f()=(0,),这个在数学上几乎可以说是初中水平的单侧仰制函数,竟然能带来6

倍的收敛速度提升?这意味着什么?

这意味着在大规模工程实践中,计算效率将获得质的飞跃!

「那过拟合呢?」一位M1的教授追问,「120万张图,8层网络,6000万个参数,参数比的样本还多——我是说,这么大的模型,你怎么保证它不是把训练集背下来了?」

这个问题问到了点子上,全场再次安静。

「确实会有这种的担忧,所以为了防止它在测试集上出现这种情况,我们引入了一种全新的正则化技术。」

「也就是Dropo随机失活。」

「它的原理是,在每一次前向传播中,以50%的概率随机将部分神经元的输出置为零,这些被选中的神经元在这一轮训练中,既不参与前向传播,也不参与反向传播。」

「这相当于每次训练,都在训练一个不同的网络,最后做预测时,等于把无数个网络的意见集合起来,一个神经元摸了鱼,其他神经元就不敢太依赖它,逼着整个网络学到更健壮的特征。」

「最后一个问题。」

MI的领队现在已经从质疑变成了纯粹的好奇:「如此庞大的训练,常规的CP集群跑下来,没有几个月根本不可能,你们是用了什么超算?哪个国家实验室赞助的?」

所有人都以为,漆昊背后一定站着某个庞大的机构。

漆昊直接回答:「其实没有用超算。」

「当时我只是想测试我的想法是否可行,所以就用了两块X580。」

「两块X580?」MI教授不敢相信自己听到的信息,「打游戏的那种?」

台下顿时响起了一片倒吸凉气的声音。

上一页目录下一页

猜你喜欢