漆昊想起了之前他指出simoid函数在反向传播时,每一层梯度都会打折。
当时他说过梯度没有消失,只是在衰减,这是激活函数选取带来的结构性缺陷,所以必须更换激活函数。
现在,陈工等人听从了自己的建议,可为什么换了之后,梯度不仅没救回来,反而疯狂抽风,不是直接卡死,就是爆出nan导致程序崩溃?
漆昊想要从面前的数据中找出一点线索。
轻量化网络、波动性的点云原始输入、以及……机载晶片。
等一下,这地方不对啊。
“陈工,我能再看看相关的代码吗?”
“稍等。”陈工开始操作,在屏幕上调出了训练端基於nmpy写的网络初始化和数据预处理脚本。
漆昊看了一会儿,指著屏幕某处说:“陈工,你看这行输入,原始点云的数据范围在 0.5米到 50米之间,你们没有做 zscore或者minmax归一化,直接以原始 float值餵了进去。”
“然后,你们的参数初始化,用的是刚提出来的 xavier初始化对吧?”
“我看你给的文献中,有这么一篇。”
陈工有些得意:“那当然,这是学术界最前沿的初始化方法,论文里证明了它能保证输入和输出的方差一致。”
漆昊轻嘆了口气,完了,他的想法是对的。