《算力国产化,是未来五年最大的变量》。
看到这个标题江松然久违的在心里笑了一下。
这些媒体估计都不知道自己在说什么。
算力国产化,国家级战略资源,这话当然谁都会说。
但是对于像他这样专门干这一行的人来说,就像是个笑话。
无他,门槛太高了。
这就像是在说我们应该解决气候问题一样,是句正确的废话。具体要做什么?怎么做?花多少钱?周期多长?代价是什么?没人说的出来。
关掉新闻,江松然又在电脑上点开了一个新的页面,arXiv。
这是一个免费发布论文的网站,尤其是在AI和计算机系统这个圈子,几乎所有的新研究都会先往上面发布。不用等期刊评审,不用等会议接收,写完了发上去,当天全世界就都能读到。
圈里人管这叫“挂上去”。
每天早晨刷一遍arXiv,看看自己关注的几个分类底下有没有新东西,是这个圈子里研究人员大部分人的基本习惯。
江松然这个习惯保留了十几年,从上学的时候到谷歌再到创业公司。
回国陪床这两个多月,工作上的事他已经全放掉了,但每天刷刷arXiv的习惯还保留着。
目光快速划过,一篇新发布的论文题目吸引了他的注意力。
《On Adaptin Memory-Efficient Attention to Non-CDA Heteroeneos Accelerators: A Sinle-Operator Case Stdy》(非CDA硬件上的注意力算子适配:一个单算子的案例研究)
作者只有一个名字,Wenyan Zhao。
江松然在脑子里把这个名字过了一遍,没什么印象。
他本来想直接划走。
非CDA适配这种东西arXiv上一搜一大把,大多是国产芯片厂出钱让自家工程师挂名做的样子工程,没什么真东西。
但他还是点开了。
因为是单作者。
非CDA适配这种活儿,正常挂名至少四五个:硬件厂的人挂、软件团队挂、算法挂、做评测的挂。
单作者意味着两种可能,要么是没团队,要么是作者把所有人都压下去了,只给自己署名。
这两种可能都挺有意思的,值得看看这篇论文。
PDF加载出来。
摘要的第一句话是:
“本文报告了一款国产的非CDA加速器上内存高效注意力机制的端到端实现:在单节点8卡配置下,吞吐达到对应cDNN参考实现的83%,数值误差在2.3e-6以内。”
江松然把屏幕字体调大一点,接着往下翻。