罗东叹了口气:“我们按照你说的进行了改进,现在围棋a的棋力确实在涨,但问题也很明显,我们和几个国内职业棋手交流过,他们一致反映,这个a下棋不聪明,尤其是在布局阶段,它老是喜欢一开局就点三三,职业棋手说这是明显的坏棋。”
漆昊皱眉:“点三三?很频繁吗?”
“频繁。”
罗东调出几张热力图:“它开局点三三的概率已经超过百分之四十,所有人类棋手都认为这种下法吃亏,会过早把外势让给对方,我们请了一个职业选手来看,都说这是a不懂围棋的高级判断力,只看见局部实地,没看到全局配合。”
漆昊没说话。他坐在电脑前,把最近几个版本的自对弈棋谱拉出来,一盘一盘看。
罗东在旁边继续抱怨:“你说这a是不是学歪了?人类棋谱里开局点三三的比例不到百分之五,它倒好,越训越喜欢点,每次自对弈,十个开局五个三三。”
漆昊还是没说话。
他盯着屏幕,脑子里在拆解a的决策机制。
pnt的策略网络给出落子概率,价值网络评估胜率,蒙特卡洛树搜索负责推演。
点三三这个选择,如果从人类经验看,确实不常见。
但这套系统不是按人类经验做判断的。
它是在数千万次自对弈里,通过实际胜率反馈,慢慢把这条路线挖出来的。
“它没有学歪。”
罗东一愣,凑上前盯着屏幕,满脸不解:“都四十多的概率了,职业棋手都不认的下法,还不算学歪?人类几百年的围棋经验摆在这,开局贪小实地,弃掉外势,本来就是大忌。”
“人类的经验是经过上千年的积累出的,还有老师来教,但你要想想,我们面对的是机器,机器的经验是有限的。”
他们现在训练的模式,就是靠堆人类海量历史棋谱做学习,也就是说,想要复刻人类的落子惯性,然后在封闭机房自我对弈,在固定的算法闭环里迭代,看似千万盘对局,实则是闭门造车的重复博弈。
他们的pnt也是如此。
全程离线训练,零真人实时对局,所有决策逻辑,都诞生于机器和机器的反复对练。
所以点三三这一招,对于目前的围棋a来说就是对的。
罗东皱眉:“所以你说这有短板?自我对弈纯度不是更高吗?没有人类的失误干扰,迭代应该更精准才对。”
“精准,但有局限性。”
漆昊鼠标拖动,调出a的胜率迭代曲线,曲线中段出现了一处明显的平缓平台期。
“它在自我博弈里,摸透了同版本机器的所有套路,点三三这套局部最优解,在机器互搏的固定体系里,胜率是正向反馈的,所以它越训越偏爱这个下法,不断放大这个选择的权重。”
“但职业棋手觉亏,是因为人类的大局观、外势转换、后续套路牵制,是封闭自对弈练不出来的。机器看不到这些隐性代价,它只认当下的胜率数据。”
罗东瞬间卡壳,半晌才憋出一句:“那怎么办?总不能任由它固化缺陷吧?”
漆昊灵光一闪:“要打破闭环,就接入实战!”