“这个大会,规格很高啊。”
“哈哈,因为有钱人多嘛。”
他说完这句话李东则是上下打量了下他那套价格不菲的西装
唐杰先是一怔,随即哈哈大笑,摆着手往大门里走。
“学校发的工资,学校发的工资。”
……
进了会场,李东才算真正见识了什么叫顶会,icm和这一比起来,确实显得有些小气了。
将近一万人的注册规模,几层楼的会场早就被人群塞满了。
而且海报厅都有记者在,因为有资本圈的大佬也在逛着这些展区。
而企业展区,各家的展台一个赛一个的气派大屏幕上滚着sota(当前最佳性能)级别的demo,穿文化衫的员工见人就递宣传册。
李东跟着水木的队伍听了一上午的报告。
不得不说,有几场是真让他开了眼界。
头一场主旨报告,是pt那边的一位研究负责人讲的他们这两年悄悄押下重注的一条新路。
过去几年,圈子里卷的都是pre-trainin(预训练)的规模。
而他们换了打法,把算力杠杆翘到了inference(推理)端。
简单的说就是给模型引入system 2的慢思考机制,让它在吐出答案前先在隐空间里穷举推理树。
这样一步一步生成思维链(cot),走入死胡同就触发回溯机制,直到把逻辑闭环彻底打通再输出结果。
而这种深层推理的泛化能力,根本没法靠人力标注去微调,完全是靠rl(强化学习)结合自博弈硬生生刷出来的。
专门挑选数学证明和代码生成这类具备明确客观真值(rond trth)的任务,模型推导对了就给高维奖励信号,错了就切断反向传播。
成千上万轮的ppo策略迭代下来,模型自己就涌现出了极为恐怖的试错与纠偏本能。
台上直接甩出了一张test-time compte(测试时算力)的对数曲线。
同一套基座权重只要允许模型在推理阶段多消耗十倍的token进行内部演算,hard级别任务的准确率直接顺着曲线呈现指数级爬升。