张彪松了一口气,旁边几个运维组的人也忍不住交换了一下眼神。
但是江松然知道,真正的挑战才刚开始。
之前的五百卡是跑在同一个集群里,现在的八千一百九十二张卡可以分成了十六个集群,每个的上限都在五百一十二张卡。
这次布线能不能把新的十六个集群都提到跟老集群一样的效率,甚至,还能不能扩大成更大的集群?
以前没有这么多卡,没法试,这次可以试试了。
江松然在机房的控制终端前坐下,开始进行压力测试。
他没一上来就跑五一二卡,而是先从八卡开始。
一般八张显卡会放在一张服务器上,也叫一个节点,这八张卡之间的通信叫做节点内通信,速度更快。
每个机柜会有八台服务器。
五一二卡就是八个机柜。
从节点内通信到节点间通信,再到机柜间通信,每一步都是一个难度升级。
随着测试进入到五一二卡,监控屏幕上的曲线已经不是平滑上涨了,可以见到斜率变缓的趋势。
看了一会监控,江松然更改设置,把两个五一二卡的集群并在了一起。
新任务下发。
这一次,监控屏的曲线发生了明显的变动,延迟迅速上升。
监控屏上出现了一片红色。
“失败了啊——”江松然苦笑了一声。
这其实是预料之中的事情。
大型显卡集群需要从硬件到软件到通信协议各个层级的优化才能实现。
源智的l100集群现在用的是东拼西凑来的各种开源技术,还没来及进行任何优化。
能达到五一二卡的集群规模已经是谢天谢地了,想要在什么改动都不做的情况下去冲千卡,只能是坠机收尾了。
韩路一收回视界,满眼的红光从视野中消失。
视界定位的结论是:注意力层之后的归约通信,几个任务分片同时撞上了同一批物理链路,触发了跨排链路堵塞。
他正准备开口,江松然先说话了。
“通信模式和物理拓扑对不上。”江松然指着屏幕上的波形说道,“你们看,每次拥塞都在注意力层之后,几个分片同时在跑归约运算,一起发到跨排链路上了,所以每个尖峰都在注意力层后面。”
赵文渊抱着手站在旁边,开口了:“是因为通信协议?”