如果模型的参数比已知的数据点还要多,为了死死踩中这七个点,这条曲线就势必会在空隙处剧烈震荡,把真实的走势扯得稀烂。
这也是算法界永远绕不开的一道坎——偏差与方差的权衡。
简单的说就是模型太简单了脑容量不够,这叫叫欠拟合。
模型太复杂了又会把数据里那些干扰项当成真理给记下来,当你换道它没见过的新题时,它就会当场抓瞎,这就叫过拟合。
参数越多,这过拟合的症状,理论上就越致命。
几十年来,大家都是这么觉得的。
“可现在的事,邪门就邪门在这儿。”
姚先生在“一百万”那个数字底下画了道线。
“我们今天拿来用的那些大模型,参数动辄上千亿,远比喂给它的数据还多。”
“照理说它们早该过拟合到没法看了。”
“可它们偏偏没有。”
“它们不光没烂,反而学得一个比一个好。”
他转过身在黑板上写下三个字。
【为什么?】
接下来,姚先生才真正进了正题。
他要讲的是过参数化网络的损失景观。
所谓损失景观,可以想象成一片起伏的山地。