换肤首页 > 都市 > 天才对决

第77章 我给的灵感?

漆昊想起了之前他指出simoid函数在反向传播时,每一层梯度都会打折。

当时他说过梯度没有消失,只是在衰减,这是激活函数选取带来的结构性缺陷,所以必须更换激活函数。

现在,陈工等人听从了自己的建议,可为什么换了之后,梯度不仅没救回来,反而疯狂抽风,不是直接卡死,就是爆出nan导致程序崩溃?

漆昊想要从面前的数据中找出一点线索。

轻量化网络、波动性的点云原始输入、以及……机载晶片。

等一下,这地方不对啊。

“陈工,我能再看看相关的代码吗?”

“稍等。”陈工开始操作,在屏幕上调出了训练端基於nmpy写的网络初始化和数据预处理脚本。

漆昊看了一会儿,指著屏幕某处说:“陈工,你看这行输入,原始点云的数据范围在 0.5米到 50米之间,你们没有做 zscore或者minmax归一化,直接以原始 float值餵了进去。”

“然后,你们的参数初始化,用的是刚提出来的 xavier初始化对吧?”

“我看你给的文献中,有这么一篇。”

陈工有些得意:“那当然,这是学术界最前沿的初始化方法,论文里证明了它能保证输入和输出的方差一致。”

漆昊轻嘆了口气,完了,他的想法是对的。

上一章目录下一页

猜你喜欢