门打开后,走进来一个头发有点乱的中年人。
“老李,忙着呢?”
李教授有些惊讶:“林教授?你怎么亲自跑过来了,打个电话不就完了。”
来人叫林晨,是信息科学技术学院智能科学系的教授,主攻机器学习。
这位之前在微软亚洲研究院待了好些年,是国内机器学习圈里排得上号的人物,当初听说漆昊来了燕大,又遇上燕大向他跑来了橄榄枝,他二话不说,从微软亚洲研究院辞职,回了燕大,牵头负责机器学习训练相关的项目。
“打电话说不清楚。”
林晨进了门,目光第一时间落在漆昊身上:“漆老师也在?太好了,我正准备去找你!”
林晨和漆昊打了招呼后,从包里掏出一沓打印的实验记录,放在桌上:“漆老师我们遇到麻烦了,大麻烦。”
他的组这段时间一直在做深度网络的训练实验,想沿着qinet的路子继续往深了做。
结果网络一深,参数一多,过拟合压不住了,训练集上准确率高得吓人,测试集上直接崩了,各种正则化手段都试过了,权重衰减,提前停止,能加的全加上了,收效都很小。
“卡了快两个月了,这么说吧,我带的几个博士生,头发掉得比模型收敛还快。”
漆昊接过实验记录,一页一页翻着,过了一会儿说:“这是协同适应的问题。”
“过拟合的表象是参数多,数据少,但深层原因,出在神经元的工作方式上,因为训练的时候,所有神经元都在场。”
“这么说吧,就是神经元1的输出,依赖神经元2、3、4的输出,它们是绑在一起更新的,一荣俱荣,一损俱损,时间长了,它们就学会了一起作弊。”
“就是通过互相配合,把训练集背下来。”
这就像是让陈元、王俊、李晖三个人一起做一套考题,允许他们商量,为了拿高分,三个人一合计,最好的办法是什么?
当然是背答案啊!
一人背一部分,陈元背前三十题,王俊背中间三十题,李晖背最后三十题,凑一起,就能拿满分。
那怎么打破这种情况?
漆昊想了想,认为可以在考试的时候,随机拉走一个人。
这次让王俊在旁边待着,陈元和李晖两个人做题,中间三十题没人背过,正确率永远到不了百分之百。
下一次,换陈元出去,王俊和李晖做前三十题就不行了。
所以只有一种办法,每个人,都老老实实把全部知识学会。
谁也别指望队友,谁也别搞分工背答案。
到那时候,随便拉走谁,剩下的人照样能考好。
林教授当然理解到了漆昊的意思:“你是说,训练的时候,随机让一部分神经元不参与?”
漆昊点头,说:“理论上是这样,林教授,要不我们去实验室测试一下?”
林教授当然愿意漆昊跟他去实验,两人说走就走,当即就去了实验室。
智能科学系,机器学习实验室。
漆昊到的时候,实验室里研究生们都围着几台机器忙活。
当林晨领着漆昊推门而入时,大家都看向了那个比他们还要年轻几岁的青年。
是漆昊!
在如今的学术界,这个名字几乎就是天才的代名词。
他一手在数学领域上不断取得突破,一手还创造了qinet,在这些研究深度学习的学生眼里,漆昊就是活着的传奇。