AlphaZero,DeepMind 阵营的最强棋士
关于 AlphaZero 的理论分析已经不少, 最近 Applied Data Science 的联合创始人 David Foster, 写出了一份详细的教程, 教你如何搭建一套属于自己的 AlphaZero 系统而且还附上了代码
如何构建自己的 AlphaZero
首先, 我们需要学习和理解 AlphaGo Zero 的原理我之前写过一篇 AlphaGo Zero 的知识点速查手册可供参考, Tim Wheeler 的博客中一篇文章给也讲的很详细, 一并推荐给你
知识点速查手册:
https://medium.com/applied-data-science/alphago-zero-explained-in-one-diagram-365f5abf67e0
Tim Wheeler 博客:
http://tim.hibal.org/blog/alpha-zero-how-and-why-it-works/
代码
我将基于下面这个代码库进行讲解:
https://github.com/AppliedDataSciencePartners/DeepReinforcementLearning
我们应该从哪里开始构建自己的 AlphaZero 呢?
别急, 可以从运行 Jupyter notebook 中 run.ipynb 的前两个 panel 开始一旦它对游戏有了足够的定位, 那么神经网络将开始训练通过额外的自我对弈和训练, 它将逐渐在预测游戏中的各个行为的价值和下一步行动上做得越来越好, 从而做出更好的决策和更聪明的游戏
现在, 我们需要更详细地看看面前的代码, 并且展示下 AI 是怎样随时间越来越厉害的
Connect4
我们的算法将要学习如何玩 Connect4(四子连珠)这个游戏虽然不如围棋那样复杂, 但也有 4531985219092 种游戏位置
游戏规则很简单玩家轮流在任何一栏的顶部布置自己的颜色谁最先在垂直水平或对角线上都放置了同一种颜色就获胜了, 如果这种情况没有出现, 那游戏就是平局
下面是组成代码库的关键文件:
game.py
这个文件包含 Connect4 的游戏规则
每个正方形都被分配了一个从 0 到 41 的数字, 如下图所示:
game.py 文件给除了从一种游戏状态到另一种状态的逻辑, 并且给出了一个选择的动作比如, 考虑到 empty board 和 38 号动作, takeAction 方法返回到一个新的游戏状态, 也就是底部一行的中心位置
你可以将 game.py 文件用任何符合相同 API 和算法的游戏文件替换掉, 根据你给它的规则, 通过自我对弈的方法学习
run.ipynb
这个文件包含开启学习过程的代码它通过算法中的主要环节加载游戏规则, 并且由三个阶段组成:
1. 自我对弈
2. 重新训练神经网络
3. 评估神经网络
有两个智能体也参与到这个环节中, 他们分别为 best_player 和 current_player
best_player 包含执行最佳的神经网络, 并且可以用于生成自我对弈的记忆然后, current_player 在这些记忆上重新训练它的神经网络, 然后再与 best_player 对弈如果它赢了, best_player 内部的神经网络被转换为 current_player 内部的神经网络, 然后循环再次启动
agent.py
这个文件包含游戏中的一个玩家 Agent class 在游戏中, 每个玩家都是用自己的神经网络和蒙特卡罗搜索树进行初始化的
我们需要用 simulate method 运行蒙特卡罗树搜索过程具体老说, 智能体移动到树的叶节点, 用它的神经网络对节点进行评估, 然后通过树将节点的值返回
之后, 我们还需要用 act method 多次重复模拟, 让智能体理解从当前位置移动最有利然后它将最终选择的动作返回到游戏中, 以执行动作
最后, replay method 利用以前游戏的记忆, 重新训练神经网络
model.py
这个文件包括 Residual_CNN 类, 这定义了如何构建一个神经网络的实例
它使用了 AlphaGo Zero 论文中的神经网络结构的浓缩版本, 然后是许多残差层, 然后分裂成价值和策略两个分支
卷积过滤的深度和数量可以在配置文件中指定
keras 库用来搭建网络, 后端是 TensorFlow
要在神经网络中查看单个卷积过滤和密集连接的层, 请在 run.ipynb notebook 中运行以下内容:
current_player.model.viewLayers()
神经网络中的卷积过滤
MCTS.py
这里包含构成蒙特卡洛搜索树的节点边缘和 MCTS 类
MCTS 类包含前面提到的 moveToLeaf 和 backFill 方法, 边缘类的实例存储了每个潜在行棋方法的统计信息
config.py
在这里设置影响算法的关键参数
调整这些变量会影响运行时间神经网络的准确性和算法的整体成功与否上述参数能生成一个高质量的四子连珠 (Connect4) 玩家, 但需要深长时间想让算法加速, 可以尝试用如下的参数替代:
funcs.py
这里包括两个智能体之间对弈的 playMatches 以及 playMatchesBetweenVersions 函数
要和你的作品对弈, 可以运行下面的代码(也是在 run.ipynb notebook 中)
initialise.py
运行算法时, 所有模型和 memory 文件都保存在根目录下的 run 文件夹中
要从某一记录点重启算法, 需要把 run 文件夹转移到 run_archive 文件夹, 并在文件夹名中加入运行编号然后把运行编号模型版本号和 memory 版本号输入到 initialise.py 文件中, 对应 run_archive 文件夹中的相关文件
其他
memory.py:Memory 类的实例存储以前的游戏, 算法用这个来重新训练当前玩家 (current_player) 的神经网络
loss.py: 这个文件包括一个自定义的损失函数
settings.py:run 和 run_archive 文件夹的位置
loggers.py: 日志文件保存到 run 文件夹下的 log 文件夹中要打开日志记录, 请在这个文件夹中, 将 logger_disabled 变量的值设置为 False
下图来自 logger.tourney 文件, 可以看到每个下法的概率
结论
经过几天的培训后, 我们的模型会产生下面这样的 mini-batch 的迭代损失数值:
最上面的一行是策略端的误差(MCTS 的交叉熵移动概率与神经网络的输出相对应), 底部是与值之间的误差(实际游戏值与神经网络值之间的均方差), 中间这根线是上述两者的平均值
显然, 随着训练时间的增加, 神经网络在预测每个游戏状态的值和可能的下一步动作方面变得越来越好
为了展示这一成果是如何在更强的比赛中大展身手的, 我让 17 名玩家之间进行了一次联赛, 从首次迭代的神经网络到第 49 次迭代, 每对搭档都交手了两次, 两名玩家都有机会先上场
最终的排名如下:
很明显可以看出, 神经网络的后期版本优于早期版本, 赢得了大部分游戏但似乎学习还没有饱和随着训练时间的延长, 玩家还在变得更厉害, 学习更多更复杂的策略
例如, 神经网络一直秉持的清晰策略是尽早抢占中心栏, 我们可以观察下算法初版和第 30 版的区别
初版神经网络
第 30 版的神经网络
这是个不错的策略, 因为无论是通过哪种方法取胜, 都需要占据中心列, 所以玩家需要抢占先机
最重要的是, 这是由神经网络自己学会的, 中途没有任何人类输入
学习不同的游戏
在 games 文件夹中, 有一个名为 Metasquares 的 game.py 文件所谓 Metasquares, 就是双方在网格中轮流下棋, 棋子连成的方块越大, 得分越高
如果把 Connect4 game.py 替换成 Metasquares game.py, 同样的算法就开始学习玩新的 Metasquares 游戏
End
来源: https://juejin.im/post/5aa1f001f265da23870e6c04