换肤首页 > 都市 > 我的学习群里全是真大佬

第398章 好多老钱

报告还没讲完,台下已经是一片低低的议论声。

李东坐在水木的队伍中间,心里微微一动。

数学,恰恰就是这世上提供最优验证奖励反馈的终极数据集。

第二场的oral是来自普林斯顿和卡内基梅隆的一支联合团队,讲的是一种颠覆性的非transformer底层架构。

他们拿状态空间模型做线性递归,时间复杂度从平方砍到线性,百万token一口气吞下去,显存都不怎么涨。

台下搞理论的当场就杠上了,两边谁也说服不了谁。

至于最后一场,emini那边一位研究员讲的是世界模型。

他们不喂文本,直接喂视频,逼模型自己学会物理。

练到最后,给模型一张图就能凭空生出一个三维世界。

一上午听下来,李东心里大致也有了数

国外这几家卡在scalin law最前沿的巨头,早就跳出了单纯堆积参数量和清洗语料的低效内卷区,一个个全在底层范式上变道。

比的不再是谁的万卡集群规模更大,而是谁先在架构和推理机制上完成破局。

这些学术直觉,确实敏锐到了极点。

反观国内,多数厂家还在旧的红海路线里跟进。

猛灌通用指令微调,卷参数规模,刷榜单的分数,卷b端落地商业化。

报告也多半集中在分布式训练的通信优化或者显存切分等工程trick上。

不过……

当然也是不是全,也有一些国内团队搞出了一些不一样的东西。

有两篇做长序列高效kv cache稀疏化的,还有一篇用大模型反向生成高质量合成数据做自我蒸馏的,思路一样惊艳,台下举手要论文源码的人一样很多。

更有意思的是开源基座这条路。

国外顶尖名校的博士生们如今跑消融实验,底层模型十有八九加载的都是华夏的开源权重,调用便宜,对齐做得好,魔改接口还很开放。

这一条生态护城河上,反倒是国内走在了前列。

……

上一页目录下一章

猜你喜欢