“陈工,xavier初始化是有严格前提的,它是专门给simoid或者tanh这种对称激活函数设计的,推导的假设是,激活函数关於原点对称……”
“每一层网络的输出方差,都会直接缩水一半,如果是10层网络,传到最后一层,方差也没剩下多少,这跟梯度消失有什么区別?”
“那nan又是怎么爆出来的?”
“机载晶片算力差,你们直接餵了原始点云,点云原始数值大,输入方差可能高达上千,再加上 xavie使用场景不合適,问题就暴露了出来。”
陈工疑惑地问道:“这是你刚才想出来的?”
“是的,这也多亏陈工刚才的讲解,才让我找到了灵感。”
陈工顿时一脸懵圈。
我给的灵感?
我自个儿想了几天,脑袋都快想禿了也没整明白,我什么时候给你灵感了?
陈工仔细想了下,漆昊这一手基於方差传播的数学推导看上去没什么问题,但作为典型的工科博士,他们显然不可能只凭嘴上说说就彻底信服,毕竟,在工程落地领域,再完美的数学公式也必须经歷实际代码的检验。
陈工没轻易说好或者不好,只是斟酌道:“漆昊同学,你这个rel初始化方差修正的思路现在听起来没问题,但是,神经网络在多层级叠代中的实际表现很复杂,我们得把你这一套写进初始化脚本里,重新跑一遍几万组的点云训练数据,看看收敛曲线才能下结论。”
“没错,实践是检验真理的唯一標准。”漆昊爽快回答。
“大概需要多久能出测试结果?”