换肤首页 > 都市 > 天才对决

第180章 来自社会主义!

论文加载出来的瞬间,大多数人都没说话,他们都认真地看着漆昊的论文。

此时查看漆昊论文的每一个人,几乎都被吉洪诺夫正则化这套东西折磨过。

这玩意儿的老理论,说白了就是机器学习里对付过拟合的一件祖传法宝,年头比在座所有人加起来的博士学龄都长。

从苏联数学家安德烈·吉洪诺夫上世纪四五十年代开始琢磨不适定问题算起,这套正则化的思想在数学和工程界摸爬滚打了大半个世纪,到了机器学习时代摇身一变,成了岭回归、权重衰减这些东西的理论祖宗。

谁做深度学习不用它?

谁调参不往损失函数里加个l2惩罚项?

可问题就在于大家都在用,但没几个人真正说得清它为什么好使,好使到什么边界为止。

尤其是在小样本,高维稀疏,噪声扰动这三座大山面前,老理论就跟中年男人的发际线一样,说崩就崩,说退就退,退得你毫无还手之力。

你按着教科书上的公式推,推到一半发现前提假设根本不成立,要想找篇综述参考,翻遍全网发现所有人都含糊其辞,最难的部分大家都有意去忽视它。

而现在,漆昊这篇长文,把理论解释得非常清晰。

北美博士因为最先看到漆昊的完整版论文,所以开始给群里没来得及细看的人做导读:“我大概翻了一遍逻辑结构,你们感受一下,漆先补齐了整套理论的前置公理,就是把老理论那些默认成立的东西,全部拎出来一条条论证,该证明的证明,该加约束的加约束。”

“然后针对小样本场景,他引入了一组新的边界约束条件,直接把泛化误差的上界确定好了,高维稀疏那块,他重新定义了正则化项和数据结构之间的耦合关系,推导过程非常严谨,我盯着看了半天愣是没找到一个跳步。”

“噪声扰动就更狠了,他把噪声当成一个动态扰动项塞进整个框架里,证明了理论在带噪环境下依然稳健,还给出了稳健的量化边界。”

“最厉害的是什么你们知道吗,他还配了几十组对比实验,全场景覆盖,从数据集到真实数据,一个不落,而且他没像别人那样只放几张漂亮的曲线图糊弄事,人家连把思路写的清清楚楚,你想复现随时复现。”

北美博士的一段导读发出去,大家对于漆昊这篇完整论文的理解又上了一个新的台阶。

“我把噪声那一节看完了,他处理扰动的方式我第一反应是不认可的,他把噪声建成一个依赖于当前估计的动态项,这东西按理说会反馈放大,越滚越大,但是他在引理5.3里加了一个约束了,让整个系统落进一个收缩映射。”

“不动点。”有人回复。

“对,他绕回不动点了,所以带噪环境下才稳,这一步我要是自己想,这辈子估计都想不到往这儿走。”

“我做实验的,理论那些我看得慢,但是我把他的代码拉下来跑了一组,复现了,误差曲线跟论文图7几乎重叠,差异非常小。”

“他连种子都对齐了?”

“对齐了,每组实验的随机种子、环境版本、依赖全列出来了,我跑之前以为总得调半天,结果一次过。”

上一页目录下一页

猜你喜欢