小胖瞪大眼睛,他突然明白了漆昊的意思。
“所以我干了什么呢?”
漆昊拿笔在那条直线上重重一划:“我告诉这个网络,你别推了,原来对的答案你原封不动往下传就行,别瞎改。”
他又指旁边那条弯线:“那这条道是干嘛的?这条道专门干一件事,就是算你差了多少。”
“它不管整道题,它只算差值,你原来答案是对的,那这条道算出来就是零,啥都不改,直接过,你要是真差了点,它就补一个修正量上去,把你拉回正道。”
“所以这里有一个关键的数学公式。”
“f(x)=h(x)-x”
小胖立刻说道:“这不是小学生都能看懂吗?”
“对,所以整个问题,其实是一道简单的数学题!”
小胖和其他研究生懵了。
在他们看来,神经网络的模型误差偏移,智能迭代优化,是深度学习领域里的复杂难题,牵扯到海量参数运算,非线性拟合,误差反向传播,是无数论文和科研项目深耕的难点,怎么可能被一句简单的小学数学道破核心?
“老师,请问这么一改,好处在哪?”有研究生问道。
“好处在于,就算你这一层啥都没学会,啥修正量都算不出来,那条弯线给你输出个零,数据顺着直线过去,一点没耽误,最差最差,这一层就当摸鱼了,但它不会把前面的结果给你破坏掉。”
“以前是啥情况?以前是每一层都得干活,你不干活模型就崩,你干得不好模型也崩,压力全给到中间层了,层层都是打工人,层层都想撂挑子,最后集体摆烂,模型直接出问题。”
小胖一脸向往地问:“那理论上能堆到100层吗?”
漆昊郁闷。
不是,我都讲了这么多了,你能不能大胆一点猜,100层看不起谁啊!
漆昊想了想,吐出一个数:“理论上来说一千层。”
“一千层?!”
“老师,现在业界谷歌那边才堆到五十二层,我们可以堆一千层?”
漆昊耸肩:“其实一千层是受到了算力的限制,如果算力更好,层数可能会更大。”
几个研究生倒吸一口凉气。
他们搞深度学习的,谁不知道深层网络退化多让人头疼?
整个业界论文一篇接一篇,一个个卷得头发都快薅秃了,天花板都没有抬上去。
结果漆神轻描淡写就说这问题解决了?
小胖脑子里嗡嗡的,一个念头怎么都压不住,困住整个行业的难题,解法这么简单?
那他怎么没想到?
此时实验室门被推开。
林晨端着一杯咖啡进来,还没睡醒似的,一抬眼看见工位上的漆昊,手一抖,咖啡差点泼出来。
“漆昊?!”