换肤首页 > 都市 > 首富从AI浪潮开始

第四百零六章 温度、K和P

马小飞笑了笑。

不愧是博士,学的真快。

“那这个温度怎么解决呢?”马小飞问道。

“简单的说,这是一个可以把概率分布拉平的操作。”刘大海说道,“假设你的数据概率分布就是很极端,前四高的选项分别对应的概率是90,3,3,3。那你可能无论怎么选,选到的都是90的那个。但是通过把温度调高,我们可以把总体的概率变成30,22,22,22,调整之后几个选项之间的排序不变,但是分布更均匀了,你选到小选项的概率也变大了。”

“我们这样做的根本原因,是因为我们知道统计规律高的结果并不一定是最好的,所以我们通过人为操作概率的方式,让结果出现更多的变量。”

马小飞一脸“我听懂了”的表情,说道:“大海老师,我以前也在各种界面上看到过这个温度的选项,一直不明白是干什么的,你这一说我就明白了。所以,温度越低,模型就越冷静,输出也就越固定;温度越高,模型就越激情,输出也就越随机。”

“我总结的没错吧?”

刘大海面露犹豫。

总结的是没错,但是激情什么的,这用词对吗?

“那除了温度之外,模型里还有什么常用的参数呢?”

“还是两个和温度经常出现的参数,一个是Tp K,一个是Tp P。”刘大海说道,“咱们先说Tp K吧。”

“你知道,现在的大模型是很大的,几万亿个参数,一个输入的对应输出可能有几万个可能性,如果我们把他们都算一遍,又慢又浪费资源,为了避免浪费,我们就选择只把前K个放到候选池里,其他的就不放了。”

马小飞点了点头。

这个倒是简单明白。

“那Tp P呢?”

刘大海也许是好久没给人讲课了,也越谈越兴起。

“这个P在这里是概率的意思,Pbablty。咱们先说它解决什么问题,你比如说,我输入一句‘中国的首都是’,你说答案是什么?”

“是京城啊。”马小飞秒答。

“对,这属于事实性答案,是不允许错的,但是在模型里还是有别的选项有很小的概率的,比如‘金陵’,比如‘长安’,在预料里也存在,按照我们刚才的说法,这些选项也可能被输出。”

刘大海说道:“可是我们不想让他被输出,我们只想要最确定的那些答案,所以我们可以设定一个P=0.95,这样只要我们收集到的选项概率超过了0.95,就不会继续收集了。刚才的答案里,‘京城’的原始概率可能高达0.99,答案集里自然不会再出现其他的选项了。”

这个对马小飞来说就有点儿烧脑了。

不过他还是尝试总结了一下。

不懂不是坏事,不懂就要问。

毕竟他能听懂,观众才能听懂嘛。

“所以,Tp K是看个数,Tp P是看总概率,那这两个数选出来的选项数量不一样的时候听哪个?”马小飞问道。

“哪个小就听哪个。”刘大海回答道,“我们做这些事情都是为了给答案剪枝嘛,不符合任何一个条件都被剪掉了。”

听到这,马小飞松了一口气。

真是一场酣畅淋漓的教学啊。

他看了看手里准备的问题,继续问道:“大海老师,非常感谢你刚才深入浅出的解答,我这还有最后一个问题。”

“你问。”刘大海微笑着说。

“咱们刚才讲到了,一个模型每次输出都不一样,是因为这些参数的设定,让每次推理都有一定的随机性。”马小飞有低头看了一下,然后抬起头,“那有没有一种情况,一个模型会突然降智呢?”

刘大海的笑容一下僵在了脸上。

“马总,你这个问题可不兴问啊。”

上一页目录下一章

猜你喜欢