江松然心想,韩总还真是突发想。
怎么突然用起了费曼方法?
如果你不能把一个专业知识讲给一个5岁的孩子讲明白,就说明你没有完全弄懂它。
“我试试吧。”江松然说道,“现在3种不同类型的推理卡,就像3种不同容量的卡车,不同的推理任务就像要搬运的不同大小的货物。有些任务长而且复杂,只能在l100上运行,有些呢,比较简单直接,对算力的消耗也小,可以在j590,甚至龙腾2000上运行。”
“我们现在遇到的问题是,一个任务进来之前,甚至作为一个长程任务的一部分,在运行中我们都不知道这个任务它是一个简单的任务还是一个难的任务。”
韩路一在心里摇了摇头,这江松然讲着讲着又回去了。
卡车和货物的比喻只用了一句。
江松然还在接着解释:“因为不知道任务是大是小,这个调度逻辑不好写,有的时候只能硬试。”
听到这,韩路一问道:“所以你们现在的方向是什么?”
“我们在考虑,如果能不能把任务切再小一些,这样不用考虑盛不盛下的问题,用哪个卡都盛下。”
韩路一坐在原地看了他一眼。
“这个思路的话,能做的任务复杂程度会受到限制吧?”
这就相当于自废武功,太复杂的任务直接放弃,让l100也只能跑跟龙腾2000能跑的一样的任务。
江松然说道:“确实是有这样的缺陷,所以我们也还在探索。”
江松然和韩路一都是做系统工程出身,他们都知道,很多时候,一个东西在实验室里面实现了,并不意味着在现实中也能够做出来。
从实验室到大规模应用,中间隔着的就是工程能力。
韩路一又想了想,说道:“现在的技术挑战都在任务编排上面,这个编排规则必须是提前写好的吗?”
:
江松然听了这话一惊。
韩路一接着说道:“之前我们做电力任务的时候,就是让汤圆来做调度中枢的,这个任务分配的调度能不能也让汤圆来做呢?”
江松然仔细思考了一下韩路一的话。
动态调度确实是他们探索的另一个方向,但直接让汤圆来参与,可能并不成熟,因为a现在的一个问题就是速度慢,并发量上不去,但是随着汤圆模型的调用量越来越大,这个调度判断可能是每秒几万甚至几十万次。
“韩总,调度逻辑比较复杂,直接交给模型来做的话,可能并发上不去。”江松然回答道。
韩路一一边看着屏幕上的实时数据一边说道:“我对算力的基础设施不是专家,如果我说错了,你可以纠正我,现在的问题是任务的复杂程度不好提前判断,对吧?那如果不把调度权交给汤圆,只是让它做任务复杂度的判断呢?”
对啊!
江松然之前钻了牛角尖,觉写死规则的调度层性能好,但是不够智能;完全把调度层交给汤圆来做,性能又不好。
但是如果不是直接让汤圆做调度逻辑呢?
如果把判断任务难度作为调用链的起点呢?
江松然思路打开,新的想法突然都涌现出来。
“韩总,之前我们没考虑过这个方向,但是现在您提了之后,我觉值试一试。”江松然说道,“直接让汤圆做调度,确实不太现实,但我们完全可以在第一个任务中让汤圆对总任务流程的复杂程度做一个预测,之后在调用链中的每一步都带着这个判断给调用层。”
韩路一点点头,有方向就好。
“这样的话,任务分级,算力也分级,现有算力的调动效率还可以再提高——”江松然说到一半儿停住了。
“提高多少?”韩路一问道。
江松然苦笑了一下:“这个我手头现在没有数据,等我们测试完了再给您汇报。”