换肤首页 > 都市 > 首富从AI浪潮开始

第三百零四章 把才能留在这里

后来他被社会教育了,才明白出了学术界,论文引用数的作用就大大下降了。

其实在学术界也没有那么好用。

赵文渊容忍了初出茅庐的章博士,情商低就情商低吧,我也不是雇你过来当行政的。

先看看你水平到底怎么样再说。

赵文渊把电脑合上:“我们开始面试了,先聊点基础知识。”

章闻铎把身子挺直,手也攥了攥。

还行,还知道紧张。

“你是研究世界模型方向的,那么你怎么定义世界模型?”

章闻铎几乎没有停顿。

“一个系统如果能从有限观测里构建环境状态的内部表示,并且能利用这个表示预测未来观测、评估动作后果、支持规划和反事实推理,就可以称为世界模型。”

赵文渊点点头,接着问:“世界模型和一个很强的nt-tkn pct(下一个词元的预测器)有什么区别?”

“区别不在输出形式,在内部表示的约束。”章闻铎推了推眼镜,“nt-tkn pct只需要学到文本分布里的条件概率,哪怕它在很多任务上表现像理解了世界,也可能只是学到了足够复杂的共现结构。”

“想要成为世界模型,必须满足三个条件。”章闻铎伸出三根手指,“一,状态压缩,不同的表述在同一个世界状态下的内部映射要一致;二,状态更新,新观测会引起内部变量按照可复用的规则更新;三,因果性,对于事件的预测不是纯粹基于相关性的,而是能给出相应的因果关系。”

赵文渊边听边点头。

这个章博士对世界模型的理解还挺深刻的。他说的这些,没有哪个官方的学术定论,但却都描述了世界模型的主流方向。

第一点是说,同一件事不管你怎么表述,本质是一样的,那就应该表示为同样的内部状态,比如说“一只猫在桌上”和“桌上有一只猫”,不能因为说法不一样,就在内部作为两种表示。

第二点则是说,世界变化的时候,内部表示要更新,而这种更新要遵循规律。这种变动本身避免了每次瞬时状态都要从头进行大量运算,而是可以用上一状态和变化量来计算下一状态。

第三点是学界现在最热门的课题之一,相关性不代表因果性,夏天冰淇淋的销售增加,淹死的小孩也变多了,但是并不是吃冰淇淋导致小孩被淹死。这是纯语言模型最容易出错的地方。

赵文渊继续提问:“那你怎么验证一个语言模型有没有内部状态?你拿不到权重,只能黑盒调用。”

章闻铎嘴角挂起微笑。

这就是他博士论文的课题,现在还没发表,但是在面试里牛刀小试完全没问题。

“黑盒很难验证‘有内部状态’,最多只能排除低级解释。”章闻铎说,“我会设计状态追踪任务。定义一个隐藏状态,把同一个状态用不同叙述方式包装——叙事文本、表格、聊天记录、甚至带噪声的口述,都可以。如果模型真的有稳定的内部表示,在不同包装下对同一问题的回答应该一致。”

“一致就够了吗?”

“不够。还要加干扰项,再做反事实。问它如果第三步没有发生,最后状态是什么。只有在反事实任务上也稳定,才说明它有某种状态迁移能力。”

赵文渊点了点头,章闻铎在世界模型的检测这块研究的挺深。

“我们假设你已经有了很好的状态探针,需要一个状态追踪框架。如果要作为持续评测指标跑进训练循环里,你怎么保证评测信号本身不成为训练目标的一部分?”

赵文渊接着问道。

这在机器学习里是个永恒的难题。

甚至在现实世界中也是个永恒的难题。

当你的考核固定,你怎么知道考核对象是学会了知识,还是背过了答案?

章闻铎皱起了眉头。

从概念上来说,他知道这是什么问题。

但是他从来没有处理过需要循环训练,动态更新的大规模项目,没资源,也没必要。

赵文渊微微一笑。

这是典型的工业界而非学术界的问题。

章博士,你要学的东西还很多啊。

上一页目录下一页

猜你喜欢