虽然NeI的断供是意料之中的事,但是他们和OpenI先后发布新模型却是意料之外。
这个戏剧性的事件让御风的PI断供吸引了很多人的目光,韩路一当时为了稳定客户的信心,决定把汤圆—0.9拿出来,做了一个简短的发布会作为回应。
没想到就是这个简短的发布会,把源智推到了一个前所未有的高度。
从汤圆的发布到现在还不到一个星期,韩路一已经被这件事情搞得忙不过来了。
热度爆炸,投资人追着问额度,政府递来的橄榄枝,进京给相关领导汇报国产化适配的计划,水木的合作,战新基金的主动投资。
这些都是好事,但是它们发生的太多、太快了。
韩路一正在重新适应这个节奏,并且在其中找到一个关键点,让他掌握主动权。
这个关键点,就是矽明。
国产化适配现在基本上还是一个从无到有的阶段。这个过程中,各个国产厂商都在探索自己的道路,有的快有的慢,但是还没有人能跑通。
江松然当时推荐了矽明的L100,其中一个原因就是因为它的软体底子差,源智如果从头做起,反而没有包袱。
现在源智的五百张L100组建的集群已经可以高效运行汤圆—0.9的推理,稳稳地接住了御风的流量。
这个进度已经走在了国产厂商的最前列。
源智下一个要攻克的难点就是在国产集群里做训练。
虽然都是大模型生态的一部分,但是训练的难度可以说要在推理的十倍以上。
推理,就是“使用模型”,把训练好的权重加载进来,输入一个问题,输出一个答案,只要显卡内存够大,一张卡也能跑,只是响应的慢一点。有了集群,就能更快的响应,支撑更多的用户和请求,但是这是量变不是质变。
而训练是“制造模型”,一张卡的算力和内存是绝对不够的,想要让模型能够梯度降低最终收敛,至少需要几千张卡的集群,这就是能和不能的区别。
更关键的是时间和钱。
汤圆—0.9用的鼎盛的算力,两个多月,一个亿的额度快用完了,这还是用的生态链成熟的英伟达集群。