/WZCQ

用基于策略梯度得强化学习方法训练AI玩王者荣耀

Primary LanguagePythonApache License 2.0Apache-2.0

用强化学习训练AI玩王者荣耀

说明

一、这个项目由我之前的AI玩王者荣耀 项目发展而来。
较之前的项目有进步,也更加复杂。用了强化学习的训练方法,并增加了一个判断回报状态的神经网络。

注意! 这个项目处于试验阶段,再加上本人水平有限,所以并不完善,问题很多。

二、运行环境和我之前的项目相似,请参考之前的项目,但还需要添加 PyQt5模块用于截图参考(requirements.txt)。
环境配置参考视频 1
链接:https://pan.baidu.com/s/1fJRyX-scxbeOJ2lsddTLiA
提取码:msr5
环境配置参考视频 2(minitouch安装)
链接:https://pan.baidu.com/s/1V8VV24Q1U8ajLKXU9HJT2w
提取码:rid1
三、我用的显卡是gtx 1660 。根据以往经验,需要1060或以上算力的显卡。
四、需要一台打开安卓调试并能玩王者荣耀的手机,虚拟机也可行。
五、需要下载scrcpy 的windows版本。 把所有文件解压到项目根目录即可(这是我的笨办法) 。

六、pyminitouch库运行时会自动安装minitouch。如果无法自动安装则需要手动安装minitouch ,比较麻烦。
还有,minitouch不支持Android10及以上系统
七、本人用的手机分辨率是1080*2160的,本代码并没有针对不同的手机做优化。不同的手机minitouch命令中所描述的位置会有差异,需要对代码做出相应调整,请务必注意。
八、注意游戏的布局(摇杆和按键移向两边)务必要一样,可参考B站视频B站视频

运行游戏AI

一、首先下载主模型 你可以从google云盘 下载训练过的模型,也可以百度网盘下载
链接:https://pan.baidu.com/s/1ZMCierCZkskEsgjj_wwwyw
提取码:oiar
后放入weights文件夹下
注意!要加载不同的模型请 在 模型_策略梯度.py 261行更改。

二、先运行 “启动和结束进程.py” 启动scrcpy

三、启动王者荣耀进入5v5人机对战 运行 “训练数据截取_A.py” 即可。

生成训练数据(半自动)

运行 “训练数据截取_A.py” 这时就可以生成训练用的数据。
按"i"键则结束或则是重新运行
按键'w' 's ' 'a' 'd'控制方向 左、下、右箭头对应是1、2、3技能,上箭头长按则攻击。其它按键请参考源码。
注意!! 如果用按键控制则会记录按键操作数据,否则会记录AI玩游戏的数据。
根据我的经验,随着模型训练次数增加,手动干预的次数会越来越小。但总体来说训练数据的获取依然需要人为干预,因为游戏结束 后要重新开始需要手动操控(我并没有做自动化脚本)。

如何训练主模型

一、下载状态判断模型 你可以从google云盘 下载训练过的模型,也可以百度网盘下载
链接:https://pan.baidu.com/s/1-UCuPutZQck3Iawot9bGrw 提取码:545t
后放入weights文件夹下 二、数据预处理
将图片用resnet101预处理后再和对应操作数据一起处理后用numpy数组储存备用。
具体要做的就是运行 “处理训练数据5.py”
三、训练
预处理完成以后运行 “训练X.py”即可。
注意!模型保存路径 在 模型_策略梯度.py 295和296行更改。
我的经验是:在原有模型上进行30-40局游戏,训练两轮(会保存两次)即可。

如何训练状态判断模型

状态判断模型实际上是一个图像分类的神经网络,用了和主模型基本一样结构,只是参数不同。
一、获取标注数据
标注数据是在游戏运行过程中进行标注的,运行 状态标注.py
Key.left 击杀小兵或野怪或推掉塔 Key.down 击杀敌方英雄 Key.right 被击塔攻击 Key.up 被击杀
注意这里会加载的标注模型自动参与标注数据以减轻标注工作负担。
二、校正标注数据
前一步获取的标注数据是不准确的,需要手动校准。
运行 筛选事件特征图片.py
具体操作参考 代码68至81行 注意其中“过”表示认同原始标注。
三、训练
运行 训练状态判断模型A.py

其它问题

源码中保留了一些试验过程中的废代码。