Question

1. 策略梯度方法：策略梯度方法的工作原理是，计算策略梯度的估计值并应用到随机梯度上升算法中。最常用的梯度估计器的形式是 ：

   $$\begin{array}{}\text{(1)}& \widehat{\overrightarrow{\mathbf{g}}}={\hat{\mathbb{E}}}_t[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(a_t\mid s_t){\hat{A}}_t]\end{array}$$

   其中：

   • ${\pi }_{\theta }$$ \pi_\theta $ 为一个随机策略。
   • ${\hat{A}}_t=Q_{\pi }(s_t,a_t)-V_{\pi }(s_t)$$ \hat A_t = Q_\pi(s_t,a_t) - V_\pi(s_t) $ 为 timestep$t$$ t $ 时的 advantage function 的一个估计，其中$Q_{\pi }(s,a)$$ Q_\pi(s,a) $ 为动作状态价值函数，$V_{\pi }(s)$$ V_\pi(s) $ 为状态价值函数。
   • ${\hat{\mathbb{E}}}_t[\cdot ]$$ \hat{\mathbb E}_t[\cdot] $ 为在一个有限的 batch 上样本的经验均值。这里的样本是在一个交替执行采样和优化的算法中获取。

   推导过程：

   定义回报$U_t$$ U_t $ 为从$t$$ t $ 时刻开始的所有奖励之和，它依赖于时刻$t$$ t $ 开始的所有状态和动作：$S_t,A_t,S_{t+1},A_{t+1},\cdots$$ S_t,A_t,S_{t+1},A_{t+1},\cdots $ ，这些状态和动作都是随机变量（这里大写字母代表随机变量，小写字母代表对应的观察值）。现在我们观察到$t$$ t $ 时刻的状态为$s_t$$ s_t $ 、动作为$a_t$$ a_t $ ，而之后的状态和动作是未知的、随机的，因此$U_t$$ U_t $ 是随机变量。

   定义动作状态价值函数：$Q_{\pi }(s_t,a_t)=\mathbb{E}[U_t\mid S_t=a_t,A_t=a_t]$$ Q_\pi(s_t,a_t) = \mathbb E[U_t\mid S_t=a_t,A_t=a_t] $ ，它是关于$(s_t,a_t)$$ (s_t,a_t) $ 的条件期望。定义状态价值函数：$V_{\pi }(s_t)={\mathbb{E}}_{A_t\sim \pi (\cdot \mid s_t;\theta )}[Q_{\pi }(s_t,A_t)]$$ V_\pi(s_t) = \mathbb E_{A_t\sim \pi(\cdot\mid s_t;\theta)}[Q_\pi(s_t,A_t)] $ 。

   如果一个策略很好，那么对于所有的状态$S$$ S $ ，状态价值$V_{\pi }(S)$$ V_\pi(S) $ 的均值应该相当大。因此定义目标函数：

   $$\begin{array}{}\text{(2)}& J(\theta )={\mathbb{E}}_S[V_{\pi }(S)]\end{array}$$

   因此策略学习可以描述为最优化问题：

   $$\begin{array}{}\text{(3)}& \underset{\theta }{max}J(\theta )\end{array}$$

   策略梯度为：

   $$\begin{array}{}\text{(4)}& {\mathrm{\nabla }}_{\theta }J(\theta )\end{array}$$

   根据：

   $$\begin{array}{}\text{(5)}& \begin{array}{c}\frac{\partial V_{\pi }(s)}{\partial \theta }=\frac{\partial }{\partial \theta }\sum _{a\in \mathcal{A}}\pi (a\mid s;\theta )\times Q_{\pi }(s,a)=\sum _{a\in \mathcal{A}}\frac{\partial (\pi (a\mid s;\theta )\times Q_{\pi }(s,a))}{\partial \theta }\\ =\sum _{a\in \mathcal{A}}\frac{\partial \pi (a\mid s;\theta )}{\partial \theta }\times Q_{\pi }(s,a)+{\mathbb{E}}_{A\sim \pi (\cdot \mid s;\theta )}\left[\frac{\partial Q_{\pi }(s,A)}{\partial \theta }\right]\\ =\sum _{a\in \mathcal{A}}\pi (A\mid s;\theta )\times \frac{1}{\pi (A\mid s;\theta )}\times \frac{\partial \pi (a\mid s;\theta )}{\partial \theta }\times Q_{\pi }(s,a)+{\mathbb{E}}_{A\sim \pi (\cdot \mid s;\theta )}\left[\frac{\partial Q_{\pi }(s,A)}{\partial \theta }\right]\\ =\sum _{a\in \mathcal{A}}\pi (A\mid s;\theta )\times \frac{\partial \log \pi (a\mid s;\theta )}{\partial \theta }\times Q_{\pi }(s,a)+{\mathbb{E}}_{A\sim \pi (\cdot \mid s;\theta )}\left[\frac{\partial Q_{\pi }(s,A)}{\partial \theta }\right]\\ ={\mathbb{E}}_{A\in \pi (\cdot \mid s;\theta )}[\frac{\partial \log \pi (A\mid s;\theta )}{\partial \theta }\times Q_{\pi }(s,A)]+{\mathbb{E}}_{A\sim \pi (\cdot \mid s;\theta )}\left[\frac{\partial Q_{\pi }(s,A)}{\partial \theta }\right]\\ \simeq {\mathbb{E}}_{A\in \pi (\cdot \mid s;\theta )}[\frac{\partial \log \pi (A\mid s;\theta )}{\partial \theta }\times Q_{\pi }(s,A)]\end{array}\end{array}$$

   因此：

   $$\begin{array}{}\text{(6)}& {\mathrm{\nabla }}_{\theta }J(\theta )={\mathrm{\nabla }}_{\theta }{\mathbb{E}}_S[V_{\pi }(S)]={\mathbb{E}}_S[{\mathrm{\nabla }}_{\theta }{V}_{\pi }(S)]\simeq {\mathbb{E}}_S{\mathbb{E}}_A[\frac{\partial \log \pi (A\mid S;\theta )}{\partial \theta }\times Q_{\pi }(S,A)]\end{array}$$

   为了训练更稳定，我们用 advantage function$\tilde{A}(S,A)=Q_{\pi }(S,A)-V_{\pi }(S)$$ \tilde A(S,A) = Q_\pi(S,A) - V_\pi(S) $ 来代替$Q_{\pi }(S,A)$$ Q_\pi(S,A) $ ，因此得到：

   $$\begin{array}{}\text{(7)}& {\mathrm{\nabla }}_{\theta }J(\theta )={\mathbb{E}}_{S,A}[{\mathrm{\nabla }}_{\theta }\log \pi (A\mid S;\theta )\times \tilde{A}]\end{array}$$

   用采样值来估计${\mathrm{\nabla }}_{\theta }J(\theta )$$ \nabla_\theta J(\theta) $ ，则得到：

   $$\begin{array}{}\text{(8)}& \widehat{\overrightarrow{\mathbf{g}}}={\hat{\mathbb{E}}}_t[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(a_t\mid s_t){\hat{A}}_t]\end{array}$$

   其中${\hat{A}}_t$$ \hat A_t $ 为$\tilde{A}$$ \tilde A $ 的经验估计。

   使用自动微分软件的实现方法是构建一个目标函数，这个目标函数的梯度是策略梯度估计器 policy gradient estimator 。估计器$\widehat{\overrightarrow{\mathbf{g}}}$$ \hat{\mathbf{\vec g}} $ 是通过对目标函数进行微分得到：

   $$\begin{array}{}\text{(9)}& {\mathcal{L}}^{\text{PG}}(\theta )={\hat{\mathbb{E}}}_t[\log {\pi }_{\theta }(a_t\mid s_t){\hat{A}}_t]\end{array}$$

   虽然使用相同的轨迹 trajectory 对这个损失函数${\mathcal{L}}^{\text{PG}}$$ \mathcal L^\text{PG} $ 进行多步优化是很有吸引力的，但这样做的理由并不充分。根据经验，这种优化经常导致破坏性的 large policy update （见实验部分；结果没有显示，但与 "no clipping or penalty" 的 setting 相似或更差）。

2. Trust Region 方法：在 TRPO 方法中，一个目标函数（即，surrogate objective ）被最大化，同时约束了 policy update 的大小。具体而言：

   $$\begin{array}{}\text{(10)}& \begin{array}{c}\underset{\theta }{max}{\hat{\mathbb{E}}}_t\left[\frac{{\pi }_{\theta }(a_t\mid s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t\mid s_t)}{\hat{A}}_t\right]\\ \text{subject to}{\hat{\mathbb{E}}}_t[\text{KL}[{\pi }_{{\theta }_{\text{old}}}(\cdot \mid s_t),{\pi }_{\theta }(\cdot \mid s_t)]]\le \delta \end{array}\end{array}$$

   其中：${\theta }_{\text{old}}$$ \theta_\text{old} $ 为更新之前的策略参数，KL 为 KL 距离函数，$\delta$$ \delta $ 为一个正的超参数。

   注意，对于$\theta$$ \theta $ 而言，${\theta }_{\text{old}}$$ \theta_\text{old} $ 就是一个常数，因此$\underset{\theta }{max}{\hat{\mathbb{E}}}_t\left[\frac{{\pi }_{\theta }(a_t\mid s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t\mid s_t)}{\hat{A}}_t\right]$$ \max_\theta \hat{\mathbb E}_t\left[\frac{\pi_\theta(a_t\mid s_t)}{\pi_{\theta_\text{old}}(a_t\mid s_t)}\hat A_t\right] $ 等价于$\underset{\theta }{max}{\hat{\mathbb{E}}}_t[{\pi }_{\theta }(a_t\mid s_t){\hat{A}}_t]$$ \max_\theta \hat{\mathbb E}_t\left[ \pi_\theta(a_t\mid s_t) \hat A_t\right] $ 。从下式可以看出二者区别：

   $$\begin{array}{}\text{(11)}& {\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }=\frac{{\mathrm{\nabla }}_{\theta }{\pi }_{\theta }}{{\pi }_{\theta }},{\mathrm{\nabla }}_{\theta }\frac{{\pi }_{\theta }}{{\pi }_{{\theta }_{\text{old}}}}=\frac{{\mathrm{\nabla }}_{\theta }{\pi }_{\theta }}{{\pi }_{{\theta }_{\text{old}}}}\end{array}$$

   因此，后者在分母上用更新之前的策略参数${\theta }_{\text{old}}$$ \theta_\text{old} $ 来代替${\pi }_{\theta }$$ \pi_\theta $ 。

   在对目标函数进行线性近似、以及对约束进行二次近似之后，这个问题可以有效地使用共轭梯度算法进行近似解决。

   证明 TRPO 的理论实际上建议使用惩罚项而不是约束，也就是说，解决无约束的优化问题：

   $$\begin{array}{}\text{(12)}& \underset{\theta }{max}{\hat{\mathbb{E}}}_t[\frac{{\pi }_{\theta }(a_t\mid s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t\mid s_t)}{\hat{A}}_t-\beta \times \text{KL}[{\pi }_{{\theta }_{\text{old}}}(\cdot \mid s_t),{\pi }_{\theta }(\cdot \mid s_t)]]\end{array}$$

   其中$\beta$$ \beta $ 为 KL 惩罚项的系数。

   这源于这样一个事实：即某个 surrogate objective （计算状态上的最大 KL 值，即$max[\text{KL}(\cdot ,\cdot )]$$ \max[\text{KL}(\cdot,\cdot)] $ ，而不是平均 KL 值，即${\mathbb{E}}_t[\text{KL}(\cdot ,\cdot )]$$ \mathbb E_t[\text{KL}(\cdot,\cdot)] $ ）对策略$\pi$$ \pi $ 的性能形成了一个下限（即一个悲观的下界）。

   TRPO 使用硬约束而不是惩罚，因为很难选择一个$\beta$$ \beta $ 值从而在不同问题上表现良好；或者甚至很难选择一个$\beta$$ \beta $ 值从而在单个问题中表现良好，因为在学习过程中问题的特性会发生变化。因此，为了实现我们一阶算法的目标（即，模仿对 TRPO 的单调改进 monotonic improvement ），实验表明，仅仅选择一个固定的惩罚系数$\beta$$ \beta $ 、以及使用 SGD 优化这个无约束优化问题的目标函数是不够的，还需要进行额外的修改。