/RLcode

Primary LanguagePython

白话强化学习

愿成为一把梯子，助你跨过无数的坑。——初心

当前，人工智能可以说是大热的学科。强化学习这个分支更是备受瞩目。至于强化学习什么征服Atari，围棋，德扑之类这些就不吹了。你应该知道自己为什么要学reinforcment learning。

但在入门的时候，却感觉非常困难！

以个人爬坑的经验，主要有三点：

  1. 人工智能背靠数学。但绝大部分人，在高考之后，数学能力就直线下降。一生都被数学的恐惧所支配。这无疑令想入门人工智能的人望而却步。学习了大半年贝叶斯和博弈论，但还是进入不了人工智能的大门。其实在人工智能领域，很多时候更讲求“直觉”。人工智能科学家的算力远不如计算机，但为什么能设计出这些优秀的模型呢？除了数学，主要还是直觉。我希望这系列文章，能先帮助大家“绕”过数学，进入人工智能的大门。当我们进入大门，能够用代码实现一些算法，再深究算法中的数学，那时候必定更容易理解，更有动力学习其数学原理。

  2. 代码能力。这里先给大家吃颗定心丸。在强化学习试验，代码一般比较简单的。很多人工智能的代码已经集成成工具给大家直接调用。在这个系列文章，每种强化学习的算法我会用tensorflow2.0的官方示例加上我自己的代码详细讲解，并提供我自己的注释版本。让你一边学习，一边提高代码能力。

  3. 学习线路。强化学习作为人工智能的一个分支，网上已经有很多学习资料。但翻开资料，每位老师说的方式和侧重点都不太一样。我希望在这系列文章中，给大家指出一条线路。让大家能够快速入门。大家将会在这系列文章学到：TD、MC、Qlearning、DQN、DQN的变种、PG、AC、A3C、SAC、PPO、DPPO等系列算法的实现。这系列文章将会少用数学，多做代码解释。希望能帮助大家快速掌握强化学习知识。快速入门。

希望我的努力能够帮助大家较少入门的负担。

综述：

欢迎大家入坑Reinforcment Learning https://zhuanlan.zhihu.com/p/111869532

学习线路.png

目录 第一部分——概念：

怎样正确理解马尔科夫链？ https://zhuanlan.zhihu.com/p/109217883

如何理解强化学习中的Q值和V值？ https://zhuanlan.zhihu.com/p/109498587

如何用蒙地卡罗方法（Monte-Carlo）估算V值？ https://zhuanlan.zhihu.com/p/109755443

[番外]蒙地卡罗MC的更新公式怎么来的？ https://zhuanlan.zhihu.com/p/110118392

如何用时序差分TD估算状态V值？ https://zhuanlan.zhihu.com/p/110132710

第二部分——核心算法：

[番外]如何从师生关系理解环境与智能体的互动？ https://zhuanlan.zhihu.com/p/110155777

[理论篇]怎样直观理解Qlearning算法？ https://zhuanlan.zhihu.com/p/110338833

手把手教你实现Qlearning算法[实战篇] https://zhuanlan.zhihu.com/p/110410276

一篇文章带你了解深度神经网络 https://zhuanlan.zhihu.com/p/110531783

三维可视化助你直观理解DQN算法[DQN理论篇] https://zhuanlan.zhihu.com/p/110620815

用可视化直观理解DQN[DQN实战篇] https://zhuanlan.zhihu.com/p/110657606

Double DQN原理是什么，怎样实现？（附代码） https://zhuanlan.zhihu.com/p/110769361

[番外篇]DuelingDQN为何那么强？(附代码) https://zhuanlan.zhihu.com/p/110807201

如何理解策略梯度（Policy Gradient）算法？[附代码] https://zhuanlan.zhihu.com/p/110881517

理解Actor-Critic的关键是什么？ https://zhuanlan.zhihu.com/p/110998399

小段文讲清argparse模块基本用法[小番外] https://zhuanlan.zhihu.com/p/111010774

如何直观理解PPO算法?[理论篇] https://zhuanlan.zhihu.com/p/111049450

如何直观理解PPO算法[实战篇] https://zhuanlan.zhihu.com/p/111068310

一文带你理清DDPG算法 https://zhuanlan.zhihu.com/p/111257402

什么是TD3算法？ https://zhuanlan.zhihu.com/p/111334500

AC：看我的影分身之术[A3C] https://zhuanlan.zhihu.com/p/111336330

PPO:看我的影分身之术[DPPO] https://zhuanlan.zhihu.com/p/111346592