漆昊想明白那群美国佬的小伎俩后,心想现在幸好不是在冷战时期。
要不然,老苏花了九牛二虎之力,给对方来了个物理消除套餐,再费劲的把资料运回苏联,到时候,苏联人看着这份千辛万苦运回来的顶级机密,怕是要气得当场喷出一口伏特加。
漆昊想明白后,开始继续他的工作。
虽说他现在优化了吉洪诺夫的理论,但传统的路子,是等误差冒出来,再拿正则化去解决,但这解决不了误差越滚越大的毛病。
传统的深度网络,就是一条超长的流水线。
数据从第一层输入,一层层加工,修改,打磨,每一层都会对上一层的结果做一些调整。
层数少的时候没问题,加工步骤有限,误差很小,模型精度完全够用,可一旦堆到四五十层,问题就出现了。
就跟流水线上的工人一样,每一层加工都会带进去一丢丢无关紧要的小误差,单层看可以忽略不计,但五十层叠加,就是滚雪球式的灾难,最后正确的特征被误差掩盖。
之前所有人的优化思路,都从加工力度下手,也就是调整正则化参数,管住每一层的修改幅度,别让它跑偏太狠。
斯坦福的方案,无非就是精细化管控,每层力度单独调,比全局统一约束聪明一点,但依旧没跳出事后补救的死循环。
为什么一定要让每一层都强行学习全新的特征、反复修改全部数据?
好的特征、正确的数据,本该直接保留传递,根本不需要层层重复加工,模型只需要专注学习输入和正确结果之间的差值就够了。
他在纸上画了最简单的示意图,一条直线直通首尾,代表原始数据的直接传递路径,旁边再搭一条分支路径,专门用来计算,修正误差。
这种方式就像是爬山,以前每一步都要重新找路,重新定位,爬一百步就会积累一百次偏差,最后大概率偏离山顶或者坠入山谷。
而他这套全新的迭代技术,相当于给爬山装了一条直达山顶的索道。
理论上来说,哪怕堆一千层,基础数据永远精准,误差没有放大的机会。
从带权索伯列夫空间的求解域替换,到分层残差单元的结构搭建,再到迭代的动态修正公式,一整套从未出现在这个时代的全新理论体系,在他的笔下快速成型。
现在的深度学习领域,所有人都在往正则化,优化梯度下降,调整权重参数等方向卷。
没人敢想,也没人能想,原来困住整个行业数年的深层网络退化难题,解法居然如此简单!
漆昊把关键公式列好后,睡了一会儿,凌晨五点左右,睡醒的他直奔林晨的实验室。
实验室里面有零星的几个人在睡觉,漆昊没有打扰他们,找了一台工作站就开始工作了。
他敲代码的速度快得有点吓人,几乎是想到哪写到哪,中间几乎不带停顿,搭网络结构,写那条直通首尾的传递路径,再挂上旁边那条专门算修正量的分支……
写完第一版,他盯着屏幕看了一会儿,又皱眉改了改学习率,回车,继续跑起来。
日志刷刷往下跑。
漆昊观察着那个loss曲线。
第一个epoch,下降。
第二个epoch,还在下降。
到第十个epoch的时候,他嘴角已经比ak还难压了。
按照传统那条路子,网络堆到五十层,这曲线要么原地躺平不动,要么直接上升,跟抽风一样,可现在这条曲线,一路平平稳稳往下走,该收敛收敛,该稳住稳住。
他的想法没错!