韩路一说完,看了一圈,倒是没有人离场。
然后他接着说道:“还有就是,每场会议开始之前都应该有预期产出,我刚才听了一下,这场会开完,会把合作计划和排期定下来,是吧?会议结束的时候记得总结一下。”
说完之后,韩路一对着屏幕点了点头,说道:“小牛,开始吧。”
小牛站起身,清了清嗓子,说道:“韩总,江总,我先给大家做一遍演示。”
小牛共享屏幕,做了一遍演示,和高管例会上赵文渊做的演示基本一样,海城会议室里,基础设施部门的员工都是第一次看到成果,心中初步满意,但是也不免有着怀疑。
单个请求做的又快又好,就是不知道并发上来了之后表现如何,以及会占用多少资源。
豆汁儿要代替汤圆来做调度辅助,除了精度不能拉胯之外,还有一个问题就是它本身不能太消耗算力,不然省出来的算力都用来跑调度器了,那就完全没有意义了。
江松然率先提出了这个问题:“这个豆汁儿模型,想支持十万QPS的话,需要用多少算力?多少资源?”
现在整个起源所有自有算力的吞吐量大概就在十万QPS这个量级,江松然所以有这么一问。
这是把豆汁儿接入每一个调度请求所需要的资源。
小牛拉出一张图标来,说道:“江总,我们已经做过压测了,我们自己使用的八卡L100,大概能做到两万四千的QPS。”
这个数字让海城会议室的人都是一惊。
那岂不是说,就算加上资源冗余,想要服务整个起源所有的推理请求调度,也只需要用四十张L100左右的算力?
这个豆汁儿模型也太小太省算力了吧。
江松然对身边的基础设施总监陶封说道:“老陶,刚才赵总那边说,豆汁儿模型的判断准确率能达到98%,按照这个数据估算,如果现在把每一步算力调度都跑一遍豆汁儿模型,按照我们之前的估算,大概能提高多少效率?”
陶封在面前的笔记本电脑上迅速操作了几下,回答道:“之前我们测算过,总体算力的百分之三十左右是由于资源错配被浪费掉的,如果能达到这个准确率的话,应该至少能救回来百分之二十。”
现在两个数据中心一共部署的三万张左右的计算卡,能从里面优化出百分之二十的性能的话,就意味着凭空多了六千张卡。
四十张卡,能换出六千张卡的算力来,这就是豆汁儿模型的价值。
韩路一在旁边暗自思量,离赵文渊之前要求的万卡训练集群还有点儿差距,还得再想想办法。
按照现在新买的卡一直在持续部署,加上国产算力联盟的适配工作还在更多的厂家推进,也许再过两个月,这几千张卡的缺口也就补上了。
只不过不知道到时候起源对算力的需求又会增长成什么样子。
韩路一在心中算数不提,陶封和他带过来的高级专家已经在和小牛讨论联调的具体细节了。
“我们肯定要灰度上线,现在的体量,首批先接入百分之一的服务器,等到效果稳定了再慢慢往上加。”陶封说道。
“可以。”江松然点点头说道。
产品发布一般没这么麻烦,但是基础设施是整个公司所有产品的基石,如果出点儿什么问题,所有的产品都受影响,所以格外得谨慎。
“那就剩时间了,先不谈上线,只做改动的话,大概要多久?”江松然转头问向另一位参会的下属,基础设施部门的高级专家,谭应许。