最右边有一根单独的浅蓝色柱子,明显高出一截。
模型名称是PX-7B-post trained-v0.1。
顶端的数字是83.7。
“意图理解维度的评测结果。”赵文渊的声音压低了,语速却很快。“评测集用的是IFEval标准框架加上我自己设计的深层意图还原测试,一共一千二百道题,覆盖十六个垂直场景。”
他拿手指点了点那根浅蓝色的柱子。
“83.7,断层领先。”
“第二名,PT,78.2。”
“第三名,emini,76.9。”
韩路一自己看了一下 Mercry 3.1一就是刚才瑞恩展示的那个,得分是74.8。办公室安静了三秒钟。
韩路一没有说话。苏念念也没有。
“我跑了三遍验证。”赵文渊说。“第一遍以为评测代码写错了。第二遍换了评测框架,分数不同,但是结果排序一样。第三遍打乱评测集做交叉验证,误差在0.3个点以内。”
他往后翻了一页。屏幕上是具体的案例对比一一左列是用户输入,中间是各模型的理解结果,右列是标注的真实意图。
赵文渊翻了几页案例对比,没有逐条讲解,但每一页停留的时间特意拉长了一些,像是在确认韩路一和苏念念有没有跟上。
韩路一跟上了。
意图理解,简单来说,就是模型能不能读懂用户真正想要什么。用户打字输入的内容是表面,表面之下是处境、是约束、是没说出口的真实需求。绝大多数模型在做的事情是理解字面意思,然后给出一个正确但泛泛的回答。而PX-7B做到的,是从同样的输入中读出字面背后那个具体的人。
这是一个极其困难的任务。参数量大十倍的模型都未必做得好,因为它考验的不是知识储备,而是对人的理解。
赵文渊合上案例页,回到那张柱状图。