曾工无奈地笑了笑:「天之骄子嘛,总得在现实的硬墙上碰一碰,才知道什么叫工程的毒打,不过他能在这个年纪就摸到CD编程的边,已经证明他不是普通人。」
此时的他盯着屏幕上杂乱的线程索引公式,脑海中不断地闪过卡尔采夫在《计算系统与同步算术》中提到的那句关于「物理空间与计算拓扑对称性」的论述。
「不对,一定是我的思维方式还停留在传统的串行CP上。」
漆昊想了一阵,觉得头疼。
硬钢下去太浪费时间了,他想到最近系统给的奖励,于是默念道:「系统,启动奖励灵感火花!」
【提示:检测到达瓦里氏正在遭遇学术与工程上的双重瓶颈,一次性道具灵感火花奖励已成功激活!】
一瞬间,漆昊只觉得自己头疼减轻了不少。
原本因为疲惫而产生的混乱,也逐渐被抚平。
紧接着,在灵感火花的加持下,漆昊觉得自己的思维运转速度比平时快了不少!
过往学习到的所有知识,一个接着一个冒出来。
不对,这些冒出来的知识,都是对他当前情况有用的!
「我明白了————」
「之前我之所以卡住,是因为我试图用CP的分工逻辑去命令P,面对反向传播的写冲突,我不需要omicdd锁,我完全可以用数学空间的对称性!」
针对反向传播梯度累加的冲突,漆昊在灵感火花的帮助下,直接用数学公式重构了算法,在卷积反向传播中,原本是每个输入像素的偏导数往输出矩阵的各个位置去散射累加,而漆昊反其道而行之,他让每一个P线程直接对准输出梯度的单点元素。
每一个线程独立负责根据偏置公式,从对应的输入特征图及对应位置聚集读取偏导数,然后进行局部的规约求和。
这样一来,在整个反向传播计算中,所有的写操作全部变成了线程内部的局部寄存器写入,没有任何两个线程会同时写入同一个内存地址!
最让人头疼的omicdd锁,被这套数学对称转换后,内存竞争就消失了。
漆昊继续在忙着。
就在这时,陈工的电话响了。
陈工拿着电话匆匆走出去,随后带了几个人进来。
「小漆人呢?」胡院长背着手,乐呵呵地四处张望。
「漆昊在里面磕难题呢。」陈工指了指最里面的工位,神色复杂地说道。
「哦?是什么数学难题啊?」
「不是,他好像在尝试基于CD编写训练代码。」
「什么?」
宋启航诧异地挑了挑眉:「他不是学纯数学的吗?怎么跟程式设计师抢起饭碗来了?」
宋启航微微一愣,随后无奈地笑了一声,摇了摇头:「CD编程可不是闹着玩的,漆昊数学天分极高,他跑去折腾这个,简直是在白白浪费他的数学天赋啊,有这个时间,他多推导两个方程,价值也比写几行代码大得多。」
在宋启航看来,年轻人精力充沛,做出一定成果后,总喜欢往自己不熟悉的时髦新领域去尝试,这很正常。
但越是聪明的孩子,越容易在错误的道路上因为不服输而钻牛角尖。
他准备作为长辈和学界前辈,等会儿进去好好劝一劝漆昊,让他把心思放回正轨上,不要在写代码这种杂务上浪费了天资。
「咱们进去看看,要是他卡住了,我也顺便劝劝他。」宋启航温和地笑道。
一众教授迈步穿过隔断,来到了漆昊身后。