盘里是几个编译后的文件,文件命名很规范,恰好可以替换掉现在L100的软体栈中算子库和运行时的部分。
甚至都不需要韩路一指导,薛兆恒就知道该把文件复制到哪,然后重新启动了伺服器。
重启的过程中,这些新存入硬碟的二进位文件就会被加载到内存中,被伺服器集群使用。
控制台的终端开始滚动日志。
L100bcend deeced.(检测到L100后台)
rnimeiniilized.(运行时已初始化)
ernelfionenbled.(算子融合已启用)
memoryplnneriniilized.(显存规划已初始化)
mli—crdcedlerredy.(多卡调度准备就绪)
服务加载完成。
21B模型开始进入运行状态。
薛兆恒的呼吸微微有些急促。
他没有去手动输入问题,看模型的回复。
模型回复什么,是做模型的人该考虑的问题。
他只需要考虑硬体的性能和利用效率。
伺服器里有矽明平时用来测试的脚本,可以大量生成模型输入,对模型的承载能力进行压测。
薛兆恒没有犹豫,开始运行测试脚本。
监控上的数值开始发生变化。
最先跳动的是显存利用率。
之前跑开源小模型,矽明自己的算子库连显存都分配不好,七成的显存白白空在那里。
现在这个数字远远超过了30%。
75%8%88%——
最后差不多稳定在了95%的位置。
压测脚本在没有检测到回灌压力之前,还在加大并发。
现在实时的吞吐量数字已经达到了二十五万词元/秒。
薛兆恒知道,同样的测试,上一次跑的时候卡在两万就上不去了。
在算力晶片上,真正能衡量软体水平的是一个关键指标,叫模型算力利用率(Model
FLOPilizion,MF)。但是这个指标没有直接显示在面板上,因为要计算它需要使用晶片算力的极限值。
如果理论上晶片能跑1000FLOP,你的模型实际只用到了200FLOP,那MF就是20%。
跑21B模型,每生成一个词元需要221B,即大概42FLOP。
二十五万词元每秒对应25000042FLOP=10500FL0P。
L100的理论算力是600FLOP,32卡集群就是32600=19200FLOP。
10500/19200= 54.7%
54.7%?
薛兆恒心算完之后,总觉得自己算错了位数。
他在电脑上打开计算器,又重新算了一遍。
真的是54.7%。
要知道,英伟达最先进的200显卡,MF的极限水平也只在60%左右。
薛兆恒这个时候心跳快得就像他二十多年前和老婆结婚的那个晚上。
他一直以为L100的思路不对,矽明走到今天的这个地步,是因为晶片设计失败了。