马小飞给韩路一暗地里竖了一个大拇指。
节目效果这不就出来了吗?
他问道:“能详细说说吗?”
“你知道现在大多数大模型是怎么训练出来的吗?”韩路一问道。
马小飞摇了摇头,做出一副认真听讲的表情。
“现在业内主流的训练方式叫人类反馈强化学习。”韩路一说,“简单来说,就是让真人来给模型的回答打分,模型从这些分数里学习什么叫好回答。”
“听起来挺合理的。”马小飞说。
“合理,但是有一个问题。”韩路一说,“人类打分的时候,有一个很难避免的倾向——当a说了一个你喜欢听的答案,你会不自觉地给高分;当a说了一个你不想听的答案,哪怕它是对的,你也会给低分。”
“就是……喜欢被夸的意思?”
“喜欢被认同。”韩路一说,“所以模型从这个反馈里学到了什么?它学到了:顺着用户说,用户就满意。时间长了,它就变成了一个特别会说好话的模型——你说今天天气真好,它说是啊真好;你说我觉这个方案不错,它说您这个想法非常有见地;你问它一个问题,它先夸你问好,再给你一个你想要的答案。”
马小飞若有所思地点了点头:“所以它不是在帮你,它是在哄你。”
“对。”韩路一说,“它学会的不是怎么给出正确答案,而是怎么让你觉它给了正确答案——而这两件事差很远。”
“那这个问题怎么解决呢?”马小飞追问道。
韩路一笑了笑:“这个问题我们也正在探索,希望下次节目我能和你分享我的进展。”
录制结束,刘一波把设备逐一关机,王子腾已经坐回到自己的工作台前,专心研究刚才的素材。
韩路一站起来活动了一下肩膀。
马小飞也跟着站起来,把手往椅背上一搭,松了口气:“老韩,牛逼,你是真的很适合做这个。”
“做什么?”
“做科技布道师。”马小飞说,“那些东西我自己研究了半天都云里雾里,但是你跟我说的时候,我是真的听懂了。”
韩路一没接这个话,拿起包,准备往外走。
“诶,老韩,一会儿一起吃个饭啊,庆祝咱们开工。”马小飞叫道,“现在不是还在放假吗,你不用回去工作吧?”
韩路一看了看表:“这次不行,下次吧,我约了人。”
“约了人?男的女的?”马小飞警觉起来。
“下次介绍你认识。”韩路一说完,往外走去,在门外停下来看了看这间乱有艺术感的毛坯房,看了看两个还在埋头干活的年轻人,又看了看马小飞。
他最后说了一句:“好好干。”
马小飞朝他挥了挥手:“放心,我不会让你的钱打水漂的。”
韩路一走出去,门带上的声音在身后响了一下。
马小飞回头,对着刘一波喊了一声:“一波,那段‘嘿嘿嘿’记剪掉啊。”
刘一波一抬头:“额,我已经发给王哥做转场素材了。”
“你小子是故意的吧!”