强化学习入门：从原理到实践

3.4 异步动态规划算法 36
3.5 编程实践：动态规划求解小型格子世界最优策略 37
3.5.1 小型格子世界MDP建模 37
3.5.2 策略评估 40
3.5.3 策略迭代 41
3.5.4 价值迭代 41
第4章 不基于模型的预测 43
4.1 蒙特卡罗强化学习 43
4.2 时序差分强化学习 45
4.3 n步时序差分学习 50
4.4 编程实践：蒙特卡罗学习评估21点游戏的玩家策略 54
4.4.1 21点游戏规则 54
4.4.2 将21点游戏建模为强化学习问题 55
4.4.3 游戏场景的搭建 55
4.4.4 生成对局数据 64
4.4.5 策略评估 64
第5章 无模型的控制 67
5.1 行为价值函数的重要性 67
5.2 贪婪策略 68
5.3 同策略蒙特卡罗控制 69
5.4 同策略时序差分控制 70
5.4.1 Sarsa算法 70
5.4.2 Sarsa(λ)算法 73
5.4.3 比较Sarsa和Sarsa(λ) 74
5.5 异策略Q学习算法 76
5.6 编程实践：蒙特卡罗学习求解21点游戏的最优策略 78
5.7 编程实践：构建基于gym的有风的格子世界及个体 81
5.7.1 gym库简介 81
5.7.2 状态序列的管理 83
5.7.3 个体基类的编写 84
5.8 编程实践：各类学习算法的实现及与有风的格子世界的交互 88
5.8.1 Sarsa算法 89
5.8.2 Sarsa(λ)算法 90
5.8.3 Q学习算法 91
第6章 价值函数的近似表示 93
6.1 价值近似的意义 93
6.2 目标函数与梯度下降 95
6.2.1 目标函数 95
6.2.2 梯度和梯度下降 97
6.3 常用的近似价值函数 100
6.3.1 线性近似 101
6.3.2 神经网络 101
6.3.3 卷积神经网络近似 104
6.4 DQN算法 108
6.5 编程实践：基于PyTorch实现DQN求解PuckWorld问题 109
6.5.1 基于神经网络的近似价值函数 110
6.5.2 实现DQN求解PuckWorld问题 113
第7章 基于策略梯度的深度强化学习 117
7.1 基于策略学习的意义 117
7.2 策略目标函数 119
7.3 Actor-Critic算法 121
7.4 深度确定性策略梯度算法 124
7.5 编程实践：DDPG算法实现 125
7.5.1 连续行为空间的PuckWorld环境 125
7.5.2 Actor-Critic网络的实现 127
7.5.3 确定性策略下探索的实现 130
7.5.4 DDPG算法的实现 130
7.5.5 DDPG算法在PuckWorld环境中的表现 135
第8章 基于模型的学习和规划 137
8.1 环境的模型 137
8.2 整合学习与规划——Dyna算法 139
8.3 基于模拟的搜索 140
8.3.1 简单蒙特卡罗搜索 140
8.3.2 蒙特卡罗树搜索 141
第9章 探索与利用 143
9.1 多臂游戏机 143
9.2 常用的探索方法 145
9.2.1 衰减的贪婪探索 145
9.2.2 不确定行为优先探索 146
9.2.3 基于信息价值的探索 149
第10章 Alpha Zero算法实战 151
10.1 自博弈中的蒙特卡罗树搜索 154
10.2 模型评估中的蒙特卡罗搜索 156
10.3 策略价值网络结构及策略提升 160
10.4 编程实践：Alpha Zero算法在五子棋上的实现 161
10.4.1 从零开始搭建棋盘环境 161
10.4.2 搭建两种MCTS以实现Alpha
Zero自博弈与模型评估 168
10.4.3 搭建策略价值网络并进行策略提升 177
10.4.4 训练自己的Alpha Zero
模型 182
参考文献 184