换肤首页 > 都市 > 首富从AI浪潮开始

第270章 得一可安天下

盘里是几个编译后的文件,文件命名很规范,恰好可以替换掉现在L100的软体栈中算子库和运行时的部分。

甚至都不需要韩路一指导,薛兆恒就知道该把文件复制到哪,然后重新启动了伺服器。

重启的过程中,这些新存入硬碟的二进位文件就会被加载到内存中,被伺服器集群使用。

控制台的终端开始滚动日志。

L100bcend deeced.(检测到L100后台)

rnimeiniilized.(运行时已初始化)

ernelfionenbled.(算子融合已启用)

memoryplnneriniilized.(显存规划已初始化)

mli—crdcedlerredy.(多卡调度准备就绪)

服务加载完成。

21B模型开始进入运行状态。

薛兆恒的呼吸微微有些急促。

他没有去手动输入问题,看模型的回复。

模型回复什么,是做模型的人该考虑的问题。

他只需要考虑硬体的性能和利用效率。

伺服器里有矽明平时用来测试的脚本,可以大量生成模型输入,对模型的承载能力进行压测。

薛兆恒没有犹豫,开始运行测试脚本。

监控上的数值开始发生变化。

最先跳动的是显存利用率。

之前跑开源小模型,矽明自己的算子库连显存都分配不好,七成的显存白白空在那里。

现在这个数字远远超过了30%。

75%8%88%——

最后差不多稳定在了95%的位置。

压测脚本在没有检测到回灌压力之前,还在加大并发。

现在实时的吞吐量数字已经达到了二十五万词元/秒。

薛兆恒知道,同样的测试,上一次跑的时候卡在两万就上不去了。

在算力晶片上,真正能衡量软体水平的是一个关键指标,叫模型算力利用率(Model

FLOPilizion,MF)。但是这个指标没有直接显示在面板上,因为要计算它需要使用晶片算力的极限值。

如果理论上晶片能跑1000FLOP,你的模型实际只用到了200FLOP,那MF就是20%。

跑21B模型,每生成一个词元需要221B,即大概42FLOP。

二十五万词元每秒对应25000042FLOP=10500FL0P。

L100的理论算力是600FLOP,32卡集群就是32600=19200FLOP。

10500/19200= 54.7%

54.7%?

薛兆恒心算完之后,总觉得自己算错了位数。

他在电脑上打开计算器,又重新算了一遍。

真的是54.7%。

要知道,英伟达最先进的200显卡,MF的极限水平也只在60%左右。

薛兆恒这个时候心跳快得就像他二十多年前和老婆结婚的那个晚上。

他一直以为L100的思路不对,矽明走到今天的这个地步,是因为晶片设计失败了。

上一页目录下一页

猜你喜欢