换肤首页 > 都市 > 我的学习群里全是真大佬

第390章您好,李东教授

第390章您好,李东教授

“而且它们脑袋还有问题,我把这个问题叫做秩坍缩(rank colpse)。”

小黑那个圆球还化做一只小手指了指自己的“脑袋”。

简单的说这些大模型的脑子,就是拿注意力一层一层叠起来的。

在它脑子里,每一个字都不再是字,而是一串数字。

业内把管这串数字叫做“表示”(representation),专门用来装这个字的意思。

每过一层注意力,所有的字就拿着这串数字彼此掺和一回,你借我一点,我借你一点。

坏就坏在,要是只有这些注意力层,光这么一层一层掺下去,每个字的那串数字,就会越掺越像。

掺着掺着,所有的字就都都变成了同一个模样,再也分不出谁是谁。

当然,这些大模型也有预防机制,一个叫“残差”(residal connection)。

一个叫“前馈层”(FFN)。

可就算这样,也没有从根上解决问题。

李东听得入了神。

这些东西,他先前压根没往这么深的地方想过。

“还有个怪症,叫逆转诅咒。”

小黑一说起来简直就停不下来了……

它后面还说了组合性鸿沟和RLHF

一个是大模型碰上那种一环扣一环,得连推好几步才解得开的题,它根本没在“推”,只是把见过的套路硬往上套,稍微复杂点它就垮了。

另一个就是,本来是拿人的喜好把它调教得更听话,可越调它反倒越自负,明明心里没底,张口却是十分的笃定。

小黑说完这些一脸的嫌弃。

李东听到这儿,连带着也一起嫌弃起来了。

上一章目录下一页

猜你喜欢