推开门,一股子焊锡和机箱散热风扇的气味混在一起,屋里两张桌子拼成一条,上面堆着三台主机、两块开发板、半米长的排线,还有两桶没扔的泡面盒。
罗东从屏幕前抬起头,黑框眼镜滑到鼻梁中段,看见漆昊就笑了。
“漆教授,你可算来了。”
罗东拖了把椅子过来:“我现在手头这个版本,决策网络和估值网络都按你的qinet和qideepnet重构过了,棋谱数据喂进去之后,预测落子的准确率比之前高了不少,但还是在几个地方卡着,很头疼。”
漆昊坐下,顺手把背包放脚边。罗东把屏幕转过来,调出训练曲线。
漆昊只看了几眼,就指着一个收敛平台的起始位置说:“这里,过拟合了,训练数据太少,你们喂进去的棋谱质量参差不齐,导致模型记住的是落子模式,不是其中的逻辑。”
罗东拍了下大腿:“我就说!后头越练越奇怪,跟人学棋学歪了似的,有一阵它特别爱点三三,不知道发什么疯。”
“正常,数据驱动的模型,你喂什么它就学什么,想让它有大局观,得在训练结构上做约束。”
漆昊指向了屏幕上一条激活函数的梯度曲线:“这里,换一种正则化方式,同时把损失函数里的状态评估项权重加大,让它不只预测下一手,还要学会判断局面优劣,围棋的本质是全局优化,不是局部占有优势吧?”
罗东点头:“你说的没错,那你认为是应该让估值网络和决策网络进一步耦合?我之前试过,但训练不稳定,梯度会爆炸。”
“爆炸是因为你的两个网络时间步没对齐,展开步数太多,误差回传会发散,你试试截断展开,只在开局阶段做长程推演,中盘之后切换成局部搜索,把搜索树的宽度先压下来,用qinet做剪枝,优先算关键分支。”
罗东眼睛发亮,像被点醒了什么。
“漆教授,你一来我就有底了,这两天训练出来的模型,总是下到后盘就崩,大优的棋能被翻盘,我估摸就是估值网络没跟上,光会下一手,不会数空。”
“中盘之后,估值网络要吃重,你们服务器算力够吗?我看训练曲线最后都平了,是不是显存先爆了?”
罗东苦着脸点头:“四路p并行,现在模型一加宽,就得往下调,训练一轮快两天,太慢了。”
漆昊想了下,是时候催老黄赶紧交货了,他们现在这点p肯定是不够用的。
“p的事我来想办法,把棋盘表示层改一下,19乘19的特征图,没必要每个位置都上完整通道,不同区域用不同的特征提取器,角部、边部、中腹分开,然后用局部参数共享思路,减少冗余计算。”
两人正讨论得热络,门口传来两声轻轻的敲门声。
一个穿深灰色羽绒服的短发女人站在门边。
“罗东,电池那边的实验数据出来了。”
她走进来,把一个文件夹放在桌上,目光扫到漆昊,犹豫了一下:“你在忙?那我过会儿再来。”
“别别,漆教授不是外人,你直接说。”
罗东摆摆手,又给漆昊介绍:“这是肖雅,理化所的高级实验师,我们和理化所一起搞了个电池项目,你知道的,以后真要发展人工智能,电池肯定少不了。”
漆昊点头,知道罗东说的是实话。
他们现在研发的围棋ai还可以插电训练,那以后的机器人呢?
也插电吗?
还有一些依附于电能驱动的设备,例如激光雷达等等,整机峰值功耗上百瓦,按现在最好的消费级电池算,跑四小时得带三十二公斤电池,这还没算电机和结构件的重量。
如果这个时候能够研发出一款新的电池出来,对于华国各行各业来说,确实都有不小的好处。