/chrome-dino-drl-bot

a2c solution for google chrome://dino game

Primary LanguagePython

Chrome-Dino DRL Boot

An attempt of apllying Actor-Critic reinforcement learning algorithm for google chrome-dino game.

For more details about chrome dino game：Google blog about Chrome Dino

项目 / Project

项目结构：

  • bot 文件夹下存放 a2c 算法和启发式算法。

  • env 文件夹下存放 chrome dino 环境和（用来调参的）chrome dino 模拟器环境。

  • utils 文件夹下存放用到的烂代码。

运行：

  • 安装 requirements.txt
  • 运行 a2c_bot_chrome_dino_main.py

环境 / Environment

因为不会前端，只能通过不断截屏 + 挟持键盘操作跳跃键实现与环境的交互。

  1. 使用 chrome 浏览器访问链接 chrome://dino
  2. 保持鼠标始终聚焦在浏览器上
  3. 运行env/chrome_dino.py 调整游戏图像到合适的位置

在使用 2k 分辨率显示器，保持网页处于全屏状态，并使用深色 chrome 主题时，可以不调整图像位置。

State

env 会不断将最新的游戏截取到屏幕中，bot 决策是否按下跳跃键。

将 t 时刻和 t-1 时刻的游戏画面截取合适的部分二值化后降低分辨率再 flatten 后拼接作为 state。

难点 / Hightlights

  1. 在线训练，即时性要求高
  2. 输入为高维数据，需要图像处理
  3. 惩罚延迟，当前时刻的决策可能要到若干时刻后才会产生后果
  4. 环境和游戏本身的随机性

效果 / Results

训练200轮游戏实际分数可以在500分左右。

参考 / References

Naive Bot 和 环境抓取方案参考：guilhermej/dino_chrome_bot

A2C 算法参考：ChenglongChen/pytorch-DRL