在训练一个拥有四层结构,上亿参数规模的深度网络时,如果老老实实地使用CP组成的计算集群,整个训练周期长达数周,耗费的电费和时间成本令人窒息,然而当他们将代码重构,移植到单张英伟达X280显卡上后,P直接将这几周的训练时间,暴力压缩到了区区1天以内!整整实现了近70倍的效率跃升!
「70倍的提速啊————」
在当下,学术界为了把算法的精确度提升个百分之一,都能敲键盘把键盘敲出火星子,而这种直接在物理效率上拉开70倍差距的物理开挂,简直让人兴奋。
漆昊高兴过后,随之而来的却是一个巨大的疑惑。
既然吴恩达教授早在2009年就用这篇顶会论文向全世界展示了P的威力,那为什么时至今日,陈工他们这些一线的工程技术人员,依然把用CP训练神经网络当成约定俗成的标准答案?
为什么这项能让效率起飞的技术,如今依然只是停留在少数顶尖高校的实验室里,并没有在工业界和学术界得到大规模的认同与落地?
如果真的有用,不是应该早就商业化了吗?
总不能说资本眼瞎吧?
这样不合常理,不对,有坑!
漆昊脑子冷静了下来。
他现在得知道坑在哪儿。
有了方向的漆昊,搜索信息变得有目的了,很快他就梳理一些关键点。
如今的计算机视觉圈子,大家普遍崇拜的是手工特征算子,像是IF、O、LBP,然后再搭配一个数学上的支持向量机VM或者随机森林。
在主流学者眼里,神经网络本身就是容易过拟合还需要人肉调参的黑箱子,没有海量的标注数据支撑,大家觉得神马深层模型都是浮云,自然也就没人愿意为了这个非主流方向去专门花时间折腾显卡了。
毕竟,P它目前只认识游戏画面,要它去训练神经网络,你必须教它,光是这一步,都要人老命了。
更重要的是,现在最好的X580显存才1.5B。
所以,想要在1.5B的显存限制下,既避开重新写原生CD训练代码的坑,又要实现一定的机载视觉的实时计算,所有人都在这里卡住了。
如果全连接网络会导致参数爆炸,那就必须从数学上限制参数的连接方式。
空间局部性和权重共享,漆昊想了下,这不就是卷积神经网络嘛!
通过局部感受野和卷积核复用,可以将需要存储的参数量大量压缩到只有数万的级别,几个的大小也同时被压缩,1.5的显存好像也能装下!
可是,卷积计算在P里怎么高效率跑起来?
二维卷积需要在一个滑动窗口里不断做局部的乘加,如果用传统的C循环思路去P里写多重嵌套循环,P的线程束会发生严重的访存冲突,最后跑出来的速度可能连CP都不如。
漆昊想到这里有些卡住了,他又只能在网上找神经网络和图像卷积相关的文献来看。
实验室里面的其他人此时其实因为课题快要结束的事,都松了一口气,坐在漆昊斜对面的李杰正悄悄把手移向滑鼠,准备点开刚刚更新的游戏,而隔壁工位的同门则在用手机刷着天涯论坛,嘴角挂着摸鱼人特有的安详微笑。
然而,他们很快就注意到了漆昊这边写草稿的动静。
李杰一慌,游戏图标硬是没敢点下去。
他偏过头,和旁边的同门师弟交换了一个惊恐的眼神。
「哎,漆神这是怎么了,不是已经解决问题了吗?」师弟努力小声问道。
「不知道啊?」李杰心里咯噔一下,他突然不敢继续心安理得地摸鱼了。
在科研狗的世界里,最让人胆寒的现象莫过于,大家都在玩,只有学神在疯狂看文献。
这种恐慌感一旦蔓延,杀伤力堪比一觉醒来,错过高考时间。
为了打探敌情,李杰悄悄站起身,假装拿着水杯去饮水机接水,在路过漆昊身后时,他偷感十足地飞快瞅了一眼。
只见那张草稿纸上,写满了各种推导公式,嗯,那些公式重重叠叠的,他看不出写的是什么,也怀疑漆昊是否也看得清楚。