Question

1.2.1 Clipped Surrogate Objective

1. 令$r_t(\theta )$$ r_t(\theta) $ 为 probability ratio：

   $$\begin{array}{}\text{(13)}& r_t(\theta )=\frac{{\pi }_{\theta }(a_t\mid s_t)}{{\pi }_{{\pi }_{\text{old}}}(a_t\mid s_t)}\end{array}$$

   则有$r({\theta }_{\text{old}})=1$$ r(\theta_\text{old}) = 1 $ 。

   因此 TRPO 最大化一个 surrogate objective：

   $$\begin{array}{}\text{(14)}& {\mathcal{L}}^{\text{CPI}}(\theta )={\hat{\mathbb{E}}}_t\left[\frac{{\pi }_{\theta }(a_t\mid s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t\mid s_t)}{\hat{A}}_t\right]={\hat{\mathbb{E}}}_t[r_t(\theta ){\hat{A}}_t]\end{array}$$

   上标 CPI 指的是保守的策略迭代 conservative policy iteration: CPI （《Approximately optimal approximate reinforcement learning》）。

2. 如果没有约束，最大化${\mathcal{L}}^{\text{CPI}}(\theta )$$ \mathcal L^\text{CPI}(\theta) $ 会导致过度的 large policy update 。因此，我们现在考虑如何修改目标从而惩罚那些使$r_t(\theta )$$ r_t (\theta) $ 远离 1 的策略更新。我们提出的主要目标函数为：

   $$\begin{array}{}\text{(15)}& \begin{array}{c}{\tilde{r}}_t(\theta )=\text{clip}(r_t(\theta ),1-ϵ,1+ϵ)\\ {\mathcal{L}}^{\text{CLIP}}(\theta )={\hat{\mathbb{E}}}_t[min(r_t(\theta ){\hat{A}}_t,{\tilde{r}}_t(\theta ){\hat{A}}_t)]\end{array}\end{array}$$

   其中$ϵ$$ \epsilon $ 为一个超参数，如$ϵ=0.2$$ \epsilon = 0.2 $ 。

   这个目标函数的动机如下。min 函数内的第一个项是${\mathcal{L}}^{\text{CPI}}(\theta )$$ \mathcal L^\text{CPI}(\theta) $ ，第二项是$\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t$$ \text{clip}\left(r_t(\theta), 1-\epsilon, 1+\epsilon\right)\hat A_t $ 。因此，通过裁剪 probability ratio 从而修改 surrogate objective ，${\text{L}}^{\text{CLIP}}(\theta )$$ \text{L}^\text{CLIP}(\theta) $ 消除了将$r_t(\theta )$$ r_t(\theta) $ 移出区间$[1-ϵ,1+ϵ]$$ [1-\epsilon, 1+\epsilon] $ 的动机。最后，我们取 clipped objective 和 unclipped objective 的最小值，所以最终的目标函数是 unclipped objective 的下限（即，悲观的下界）。

   注意：

   • 当$\theta$$ \theta $ 在${\theta }_{\text{old}}$$ \theta_\text{old} $ 附近的一阶展开时（其中$r_t(\theta )=1$$ r_t(\theta) = 1 $ ），${\mathcal{L}}^{\text{CLIP}}(\theta )={\mathcal{L}}^{\text{CPI}}(\theta )$$ \mathcal L^\text{CLIP}(\theta) = \mathcal L^\text{CPI}(\theta) $ 。
   • 然而，当$\theta$$ \theta $ 远离${\theta }_{\text{old}}$$ \theta_\text{old} $ 时，${\mathcal{L}}^{\text{CLIP}}(\theta )$$ \mathcal L^\text{CLIP}(\theta) $ 和${\mathcal{L}}^{\text{CPI}}(\theta )$$ \mathcal L^\text{CPI}(\theta) $ 变得不同。

   下图描绘了${\mathcal{L}}^{\text{CLIP}}(\theta )$$ \mathcal L^\text{CLIP}(\theta) $ 中固定单个$t$$ t $ 值时，目标函数随着$r$$ r $ 的变化。注意 probability ratio$r$$ r $ 被截断在$1-ϵ$$ 1-\epsilon $ 或$1+ϵ$$ 1+\epsilon $ ，取决于 advantage$A$$ A $ （这里指的是 advantage function ，而不是 Action ）是正还是负。

   

3. 下图提供了关于 surrogate objective${\mathcal{L}}^{\text{CLIP}}(\theta )$$ \mathcal L^\text{CLIP}(\theta) $ 的另一个直观来源。它显示了当我们沿着策略更新方向插值时，几个目标是如何变化的，这是由 continuous control problem 上的 proximal policy optimization （我们很快将介绍的算法）得到的。我们可以看到，${\mathcal{L}}^{\text{CLIP}}(\theta )$$ \mathcal L^\text{CLIP}(\theta) $ 是${\mathcal{L}}^{\text{CPI}}(\theta )$$ \mathcal L^\text{CPI}(\theta) $ 的下限，针对策略更新过大带有惩罚。

   

1.2.2 Adaptive KL Penalty Coefficient

1. 另一种方法，可以作为 clipped surrogate objective 的替代品，或者作为它的补充，是使用作用在 KL 散度上的惩罚，并调整惩罚系数从而使我们在每次策略更新时达到 KL 散度的某个目标值$d_{\text{targ}}$$ d_\text{targ} $ 。在我们的实验中，我们发现 KL 惩罚的表现比 clipped surrogate objective 更差。然而，我们在这里包括它，因为它是一个重要的 baseline。

2. 在这个算法的最简单的实现中，我们在每次策略更新中执行以下步骤：

   • 执行 minibatch SGD 若干个 epoch 从而优化 KL-penalized objective ：

     $$\begin{array}{}\text{(16)}& {\mathcal{L}}^{\text{KLPEN}}(\theta )={\hat{\mathbb{E}}}_t[\frac{{\pi }_{\theta }(a_t\mid s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t\mid s_t)}{\hat{A}}_t-\beta \times \text{KL}[{\pi }_{{\theta }_{\text{old}}}(\cdot \mid s_t),{\pi }_{\theta }(\cdot \mid s_t)]]\end{array}$$

   • 计算$d={\hat{\mathbb{E}}}_t[\text{KL}[{\pi }_{{\theta }_{\text{old}}}(\cdot \mid s_t),{\pi }_{\theta }(\cdot \mid s_t)]]$$ d = \hat{\mathbb E}_t\left[\text{KL}[\pi_{\theta_\text{old}}(\cdot\mid s_t),\pi_\theta(\cdot\mid s_t)]\right] $ ：

     • 如果$d<d_{\text{targ}}/1.5$$ d\lt d_\text{targ}/1.5 $ ，则$\beta \leftarrow \beta /2$$ \beta\leftarrow \beta/2 $ 。
     • 如果$d>d_{\text{targ}}\times 1.5$$ d\gt d_\text{targ}\times 1.5 $ ，则$\beta \leftarrow \beta \times 2$$ \beta\leftarrow \beta\times 2 $ 。

   更新后的$\beta$$ \beta $ 值用于下一次策略更新。有了这个方案，我们偶尔会看到当 KL 散度与$d_{\text{targ}}$$ d_\text{targ} $ 明显不同时，策略发生更新。然而，策略更新是罕见的，因为$\beta$$ \beta $ 会迅速调整从而使得 KL 散度靠近$d_{\text{targ}}$$ d_\text{targ} $ 。

   上面的超参数 1.5 和 2 是启发式选择的，但该算法对它们并不十分敏感。$\beta$$ \beta $ 的初始值是另一个超参数，但在实践中并不重要，因为算法会迅速调整$\beta$$ \beta $ 。

1.2.3 PPO

1. 前面几节的 surrogate loss 可以通过对典型的策略梯度进行的微小改变来计算和微分。对于使用自动微分的实现方式，我们只需构建损失${\mathcal{L}}^{\text{CLIP}}(\theta )$$ \mathcal L^\text{CLIP}(\theta) $ 或${\mathcal{L}}^{\text{KLPEN}}(\theta )$$ \mathcal L^\text{KLPEN}(\theta) $ 来代替${\mathcal{L}}^{\text{PG}}(\theta )$$ \mathcal L^\text{PG}(\theta) $ ，并对新的目标进行多步随机梯度上升。

   大多数用于方差缩减 variance-reduced 的 advantage-function estimators 的技术都使用了学到的状态价值函数 state-value function$V(s)$$ V(s) $ ，例如，generalized advantage estimation （《High-dimensional continuous control using generalized advantage estimation》）、或者 《Asynchronous methods for deep reinforcement learning》中的 inite-horizon estimators 。如果使用一个在策略函数和价值函数之间共享参数的神经网络架构，我们必须使用一个损失函数来结合 policy surrogate 和 value function error 。这个目标函数可以通过增加熵奖励 entropy bonus 来进一步增强，从而确保充分的探索，正如过去的工作 《Asynchronous methods for deep reinforcement learning》 和 《Simple statistical gradient-following algorithms for connectionist reinforcement learning》 所建议的。结合这些项，我们得到以下目标，它在每轮迭代中都被最大化（或被近似地最大化）：

   $$\begin{array}{}\text{(17)}& {\mathcal{L}}_t^{\text{CLIP+VF+S}}(\theta )={\hat{\mathbb{E}}}_t[\underset{{\mathcal{L}}^{\text{CLIP}}}{\underbrace{min(r_t(\theta ){\hat{A}}_t,{\tilde{r}}_t(\theta ){\hat{A}}_t)}}-c_1\times \underset{{\mathcal{L}}^{\text{VF}}}{\underbrace{{(V_{\theta }(s_t)-V_t^{\text{targ}})}^2}}+c_{2}S[{\pi }_{\theta }](s_t)]\end{array}$$

   这里有两个函数：策略函数${\pi }_{\theta }(\cdot )$$ \pi_\theta(\cdot) $ 、价值函数$V_{\theta }(\cdot )$$ V_\theta(\cdot) $ ，它们共享相同的神经网络架构，因此具有相同的参数$\theta$$ \theta $ 。此外，$V_t^{\text{targ}}$$ V_t^\text{targ} $ 是$t$$ t $ 时刻的目标价值（例如，来自于一个独立训练的价值网络）。

   其中：

   • $c_1,c_2$$ c_1,c_2 $ 都是作为系数的超参数。

   • 第一项对应于${\mathcal{L}}^{\text{CLIP}}$$ \mathcal L^\text{CLIP} $ ，第二项对应于均方误差（作用于价值函数），第三项中$S$$ S $ 定义了 entropy bonus （鼓励${\pi }_{\theta }(\cdot \mid s)$$ \pi_\theta(\cdot\mid s) $ 的分布尽可能分散）。

     $S[{\pi }_{\theta }](s_t)=\sum _{a\in \mathcal{A}}-{\pi }_{\theta }(a\mid s_t)\times \log {\pi }_{\theta }(a\mid s_t)$$ S[\pi_\theta](s_t) = \sum_{a\in \mathcal A} -\pi_\theta(a\mid s_t)\times \log \pi_\theta(a\mid s_t) $ 。

2. 有一种策略梯度的实现方式，在 《Asynchronous methods for deep reinforcement learning》 中得到了推广并且很适合用于 RNN网络：在$T$$ T $ 个时间步中执行策略（其中$T$$ T $ 远小于 episode 长度），并使用收集的样本进行更新，这个时间段被称作 trajectory segment 。这种方式需要一个 advantage estimator ，该estimator 不会查看超出时间步$T$$ T $ 的信息。 《Asynchronous methods for deep reinforcement learning》 中使用的 estimator 为：

   $$\begin{array}{}\text{(18)}& {\hat{A}}_t=-V(s_t)+{\breve{r}}_t+\gamma {\breve{r}}_{t+1}+\cdots +{\gamma }^{T-t+1}{\breve{r}}_{T-1}+{\gamma }^{T-t}V(s_T)\end{array}$$

   其中：${\breve{r}}_t$$ \breve r_t $ 为$t$$ t $ 时刻的奖励；$t$$ t $ 指定了在给定的长度为$T$$ T $ 的 trajectory segment 中位于 [0, T] 之间的时间索引。

   $\gamma {\breve{r}}_{t+1}+\cdots +{\gamma }^{T-t+1}{\breve{r}}_{T-1}+{\gamma }^{T-t}V(s_T)$$ \gamma \breve r_{t+1} +\cdots+\gamma^{T-t+1}\breve r_{T-1} + \gamma^{T-t}V(s_T) $ 作为$Q(s_t,a_t)$$ Q(s_t,a_t) $ 的估计，可以理解为：$t$$ t $ 时刻的动作导致后续的一连串收益。

   推广这一选择，我们可以使用 generalized advantage estimation 的截断版本：

   $$\begin{array}{}\text{(19)}& {\hat{A}}_t={\delta }_t+(\gamma \lambda ){\delta }_{t+1}+\cdots +(\gamma \lambda {)}^{T-t+1}{\delta }_{T-1}\end{array}$$

   其中${\delta }_t={\breve{r}}_t+\gamma V(s_{t+1})-V(s_t)$$ \delta_t = \breve r_t + \gamma V(s_{t+1}) - V(s_t) $ 。

   当$\lambda =1$$ \lambda=1 $ 时，这个generalized advantage estimation 就简化回原始的形式。

   一个使用固定长度 trajectory segment （长度为$T$$ T $ ）的近似策略优化proximal policy optimization: PPO 算法如下所示。每次迭代，$N$$ N $ 个（并行的）actors 中的每一个都收集 T timesteps 的数据。然后，我们在这 NT timesteps 的数据上构建 surrogate loss ，并用 minibatch SGD （或者通常为了更好的性能，用 Adam）对其进行优化$K$$ K $ 个 epochs 。

3. PPO Actor-Critic Style：

   • 输入：

     • 初始的策略${\pi }_{{\theta }_{\text{old}}}$$ \pi_{\theta_\text{old}} $ 。
     • 外层迭代次数$O$$ O $ ，actor 数量$N$$ N $ ，内层 trajectory segment 长度$T$$ T $ ，外层 minibatch size$M$$ M $ 。

   • 输出：更新后的策略${\pi }_{\theta }$$ \pi_\theta $

   • 算法步骤：

     • 外层迭代：iteration=1,2,...O ：

       • 内层迭代：actor = 1,2,..., N：

         在环境中执行策略${\pi }_{{\theta }_{\text{old}}}$$ \pi_{\theta_\text{old}} $ ，指定 T timesteps 。

         计算 advantage estimates${\hat{A}}_1,\cdots ,{\hat{A}}_T$$ \hat A_1,\cdots,\hat A_T $ 。

       关于$\theta$$ \theta $ 优化 surrogate loss ，一共优化$K$$ K $ 个 epoch ，其中 minibatch size$M\le NT$$ M\le NT $ 。

       ${\theta }_{\text{old}}\leftarrow \theta$$ \theta_\text{old}\leftarrow \theta $ 。