换肤首页 > 都市 > 首富从AI浪潮开始

第四百三十五章 多多益善

这是汤圆2.0的迭代方向的问题了,是不是要和海外模型卷参数大小,加入这场军备竞赛,以及如果加入的话,算力从哪里来。

现在起源这边的大部分算力都分给了推理,留给训练的部分只有一小部分。

这一小部分当初做汤圆1.0的后训练是足够的,可要是想再做一个更大参数的汤圆2.0的基座,肯定是远远不够的,差的算力从哪里来?

推理集群里的L100倒是可以挪过来一部分做训练,但是这又势必影响到依赖于汤圆模型的所有产品线的——包括开物、御风和汤圆h,以及公开销售的汤圆PI——的供给能力。

即使不考虑新用户的增长,现有用户的体验是不能降的,不然口碑分分钟就会崩盘,模型能力再强也救不回来。

这里面又该如何权衡?

韩路一问道:“你觉得训练2.0需要多少张L100?”

赵文渊显然早就算过了脱口而出:“一万张。”

说完他又怕说少了,赶紧补充了一句:“最少一万张,但是多多益善。”

韩路一听了一阵苦笑,L100现在一共就一万八千多张,这一下就是一多半啊,其他的计算卡集群虽然也在陆续上线承担一些推理任务,但是离能够替代这一万张L100还有不少差距。

“好,下一步提升参数量和数理能力这个方向我认同,你们可以先做训练方案的规划,至于算力这边,我来想办法。”韩路一说道。

韩路一说这话的时候其实也一阵头疼,算力不足,他一时还真没什么办法。

怎么开了挂解决问题还是这么难?

网络那边的赵文渊听了却很高兴,果然不愧是万能的韩总,就没有能难得住他的问题。

这时,韩路一问道:“对了文渊,我这边也有几个问题想问你。现在汤圆1.0的能力在很多场景下其实有点儿过剩了,我们是不是也考虑训练一些小模型,无论是在内部的使用上还是对外出售,提供更多的选择。”

赵文渊听完点了点头,说道:“您是说fsh版吧,旗舰模型稳定后发布轻量版走量确实也是业内的通行战略,但是算力方面——”

赵文渊话没说完,一般来说,轻量版推出之后由于价格便宜,会吸引更多对性价比比较敏感的用户,虽然单位算力消耗的更少,但是总得需要的算力可能又上升了。

上一页目录下一页

猜你喜欢