大厂学院 - 人工智能算法剖析与应用【百度云盘】

• 

  引言

  在 Q-learning算法 中，目标策略（即更新Q表的那个动作 [公式] ）是基于Q表的完全贪婪策略，但它并不会成为下一条数据 [公式] 的 [公式] ，而数据 [公式] 中的 [公式] 是基于Q表的 [公式] -贪婪策略，因此为 off-policy算法 。PPO算法 因为在buffer里使用的数据都是由目标策略 [公式] 得到，只是会多更新几次 [公式] ，将 [公式] 更新之后得到 [公式] ，那么buffer里的数据都不能再用了，需要清空buffer，因此是 on-policy算法 .（其实因为PPO存在一个buffer多更新几次的情况，所以说它的off-policy也有一定道理，但它总体上还是on-policy）
• 

  PPO算法

  已知一个状态 [公式] ，通过 actor网络 得到所有动作的概率（图中以三个动作：a,b,c为例），然后依概率采样得到动作 [公式] ，然后将 [公式] 输入到环境中，得到 [公式] 和 [公式] ，这样就得到一个experience: [公式] ，然后将experience放入经验池中。 以上是离散动作的情况，如果是连续动作，就输出概率分布的参数（比如高斯分布的均值和方差），然后按照概率分布去采样得到动作 [公式] 经验池 存在的意义是为了消除experience的相关性，因为强化学习中前后动作通常是强相关的，而将它们打散，放入经验池中，然后在训练神经网络时，随机地从经验池中选出一批experience，这样能够使神经网络训练地更好。
• 

  产生experience的过程

  已知一个状态 [公式] ，通过 actor网络 得到所有动作的概率（图中以三个动作：a,b,c为例），然后依概率采样得到动作 [公式] ，然后将 [公式] 输入到环境中，得到 [公式] 和 [公式] ，这样就得到一个experience: [公式] ，然后将experience放入经验池中。 以上是离散动作的情况，如果是连续动作，就输出概率分布的参数（比如高斯分布的均值和方差），然后按照概率分布去采样得到动作 [公式] 经验池 存在的意义是为了消除experience的相关性，因为强化学习中前后动作通常是强相关的，而将它们打散，放入经验池中，然后在训练神经网络时，随机地从经验池中选出一批experience，这样能够使神经网络训练地更好。