整个机器学习圈子,谁会忘记这个名字?
伊万激动得脸都红了:“教授,他跟咱们说的是一个问题,他也发现了!”
雅戈拉没有搭理伊万,他严肃地看起了漆昊的推导,越看,脸上的表情越复杂。
他和学生忙活了一整个星期,靠着吉洪诺夫正则化那套老办法,才勉强证明了斯坦福的证明是有漏洞的。
注意,是有漏洞,他能指出漏洞在哪,却给不出一个解决方案。
因为吉洪诺夫那套框架,在这种高维非线性的场景下,有点力不从心了。
而漆昊呢?
这个年轻人光明正大引用了老师的理论,但跳过了找漏洞这个环节,他直接把问题重新参数化,引入了一个雅戈拉从没见过的动态约束算子,然后推导出了一个在任意层数下都收敛的充分条件!
雅戈拉让伊万拿来纸笔,他快速验证了起来。
他验算了一个下午,一遍又一遍,每验一遍都想骂人,每次骂完又想接着看。
这倒不是因为算子本身有多复杂,恰恰相反,他就是因为看明白了漆昊的推导才想骂人。
那种天赋之间的差距,让他坐立难安。
雅戈拉这辈子见过聪明人,见过勤奋的人,见过又聪明又勤奋还运气奇好的人,但这种感觉,他记得只在第一次读吉洪诺夫老师的手稿时才有。
这个漆昊,他到底是如何想到那个算子的?
技术步骤问题雅戈拉可以反推,他花几个月,肯定能把那条路从头走一遍。
雅戈拉想知道的是,那个重新参数化的初始切入角度,是怎么来的?
这问题绝对不是一句漆昊很努力就能回答的。
这就像是雅戈拉能弄明白如何解决问题,但这个年轻人,好像生来就会看见其它解决方法一样。
到了晚上,雅戈拉看着验证出来的结果发出了一声叹息:“看来我们从一开始,就被吉洪诺夫老师的框架框死了。”
“漆昊是对的。”
雅戈拉一辈子都扎根苏联经典数学体系,毕生所学所研所用,全部建立在吉洪诺夫正则化的基石之上。
他始终坚信,老师1963年的成果,是整个正则化领域的源头,可直到今天,他才认清一个的事实,经典永远是经典,但经典终究有时代的边界。
漆昊没有局限于吉洪诺夫老师的理论,而是在原有基础上,做了优化。
雅戈拉不得不承认,漆昊比他更像是吉洪诺夫的学生。
而他就像是个冒牌货。
“去把咱们这一周的草稿都拿来。”
伊万愣了一下:“教授您要……”
“我要把它们和这个算子对着看。”
“我想知道,我离这步,差了多少。”
伊万走后,雅戈拉再去看漆昊的comment,发现他遗漏了末尾的一句话。
“上述优化后的吉洪诺夫理论依然无法解决深度网络化问题,所以需要引入新的技术,完整理论和实验验证,后续将在新论文中公开。”
雅戈拉愣在了原地。