仔细看了一圈之后,他发现了第一个问题。
各个节点的运行效率并不一样。
tanfm架构的开创性贡献是把以前只能串行的机器学习任务变成了可以并行,于是机器学习也可以像大数据处理一样用大集群来加快速度、提升效果。
基本原理也很简单,就是把大任务切成小任务,派一个集群一起执行,执行完了之后合并在一起。
问题是怎么分?
最理想的情况是,每个节点运算能力都一样,那任务都分出来一样大小,每个节点负责的任务量一样。
这样就没有时间的浪费。
但是实际上很难做到平均分配。
因为后训练的任务类型不一样。
比如一个寝室决定聚餐,大家分别去采买食材,有人的任务是去超市买菜,有人的任务是去海里钓鱼,买菜的人都回来了,鱼还没上钩。
但是这没办法,钓鱼是不可细分的最小任务。
现在通行的做法是,大家一起等这个钓鱼佬回来,然后把阶段性结果写到硬盘里,再进行下一步。
问题是,该怎么把效率再往上提一提呢?
赵文渊托着下巴正在想着,门外突然响起了敲门声。
赵文渊被打断了思路,缓了缓才说话。