「我琢磨着,等组会开完,我带大家一块出去放松放松,附近新开了一家温泉山庄,去泡个温泉怎么样?去不去?」
泡温泉?
漆昊缓过神,脑海中浮现出一幅画面。
大冬天的,一个烟雾缭绕的池子里,挤着十几个平时不修边幅的糙汉,大家坦诚相见,在温水里泡着。
漆昊暗自打了个冷战,连忙找了个借口:「陈工,我就不去了,怕水。」
陈工狐疑地上下打量了他一眼:「怕水?你一个一米八的大个子,泡个一米深的温泉池子,你怕水?」
漆昊干笑两声,说:「之前呛过水。」
陈工立刻理解了,说:「原来如此,那这样,泡温泉取消,等开完组会,我带大家去整一顿最给力的海鲜自助,这总行了吧?」
「这个好,我举双手赞成。」
「那就这么定了!」
回到工位后,漆昊重新将注意力集中到了电脑上。
他翻了一会儿卡尔采夫的书,突然愣住了。
冷战时期,苏联的半导体工艺全面落后于西方,算力拉胯,可卡尔采夫硬生生靠着大规模同步并行架构,支撑起了国家级系统的超级算力。
陈工的说法在当下的工程界确实没错,神经网络训练中确实掺杂着数据读取等细碎的控制操作,这些任务高度依赖CP强大的通用调度能力和复杂指令处理能力。
这也是为什么,如今不管是大厂还是高校,大家都老老实实地守着CP训练。
他意识到,所有人似乎忽略了一个最基础的数学事实!
神经网络的核心算力消耗,从来不是那些细碎的控制流操作,而是海量的矩阵乘加运算!
也就是说,标准答案≠正确答案!
业界所有人都错了!