换肤首页 > 都市 > 首富从AI浪潮开始

第144章 唯一的解释

“意图理解这条赛道,OpenAI的PT现在是公认的天花板,也就78分出头。他拿一个开源的7B架构,参数量只有人家的零头,跑出85.2。郑总,这么跟您说吧,这就好比一个我们那县城中学的一个差生,用别人的旧课本自学,高考分数比全省状元还高三十分。我拍胸脯地说,绝对不是架构创新,7B的架构就那么点东西,翻不出花来。”

“现在大模型的竞争,已经过了参数军备竞赛的那个阶段了。几百亿参数、几千亿参数,架构上大家都整的差不多。Transformer还是那个Transformer,无非是层数搁(é)那儿多一层少一层,注意力头多一个少一个。”

刘大海一边说一边仔细观察郑晓波的表情。

技术人给领导汇报,又怕说多了太多技术细节,领导听不懂。又怕说的太少太简略,领导觉得不满意。只能小心翼翼,随时调整。

“我能想到唯一的解释,除非这个县城学生用的不是别人的旧课本,而是一份全世界别的学生都没有的,黄金复习资料。”

郑晓波还是面无表情。

这时程远插话了一一他没听懂,这没关系,但他主要是怕郑总也没听懂,这种问题不能让郑总来问。“刘博士,不好意思,你这个比喻指的是?”

“是标注数据。”刘大海也意识到自己说上头了,赶紧扯回来,“郑总也大概了解,我就简单说一下。”

他把电脑转过来,去网上搜了一个流程图,再转回去面向郑晓波。

“咱们训练大模型主要分为几个阶段,先是预训练,就是堆语料,咱们恨不得把互联网上所有的东西都给它整进去。”

“然后是监督微调,找一帮人给模型做示范,教它学明白啥是好赖话儿。”

“再往后就是对齐,让模型学着按人的想法来排,回答得更像正常人说话。”

刘大海指了指屏幕上的流程图。

“第一步大家用的语料都差不多,互联网就那么多东西,你抓我也抓。真正拉开差距的是后面两步,谁的数据标注质量高,谁训出来的模型就强。”

“所以我说,那个……对方效果能做的这么好,一定是有好的标注数据。”

刘大海把韩路一的名字忘了,公司名字也忘了,只好中途改口。

不行,一会回去得查查这个公司,那个技术负责人,看看他的论文。

做出训练出这种水平的模型,不可能没有学术积累。

听到这,一直沉默不语的郑晓波突然开了口:“ScaleAl。”

上一页目录下一章

猜你喜欢