换肤首页 > 都市 > 我的学习群里全是真大佬

第399章 李东来了

中午休息的时候,主会场外的大厅里。

人群三三两两的凑在一起,也不知道在讨论些什么,时不时的还会爆发出一阵的老钱笑声。

李东和唐杰站在大厅一角。

“怎么样,听出门道没有?”

唐杰端着一杯咖啡问道。

李东:“底层范式全在切变道。”

“眼光够毒的呀。”

唐杰有些诧异的说道。

“那你再往深处琢磨琢磨,这帮巨头为什么不约而同,非要赶在这个节骨眼上改写技术路线?”

李东看着他:“为什么?”

“撞上data wall(数据墙)了呗。”

“互联网上那些高质量的预训练语料,ithb开源代码、arxiv论文库、优质百科,早就被各家用爬虫吸干了。”

“万亿参数规模的模型每年胃口都在变大,但是现在大家都没东西喂了。”

“所以你看今天台上讲的那些套路。”

唐杰教授抬了抬下巴。

“在inference端堆算力,靠慢思考平摊成本,这叫避开数据墙。”

“花重金搞rlhf,弄一套刁钻的reward model去给生成的合成数据打分提纯,靠模型自己左右互搏,这叫虚空造数据。”

“说穿了全是被高质量数据枯竭给硬生生逼出来的。”

李东若有所思地点了点头,然后又想到了一个问题。

“那模型架构呢?顶会的paper全公开了,哪怕只照着公式复现他们不怕别人追上吗?”

“paper这玩意儿,只是个前瞻pr。”唐杰笑了笑说道。

“可真正拉开代差的核心壁垒有两样,paper里从来都不会写半个字。”

“一样是infra,另一样是基于真实交互反馈的数据飞轮。”

上一章目录下一页

猜你喜欢