Question

4.1 最大似然估计

1. 假设数据集$\mathbf{X}=\{{\overrightarrow{\mathbf{x}}}_1,{\overrightarrow{\mathbf{x}}}_2,\cdots ,{\overrightarrow{\mathbf{x}}}_m\}$$ \mathbf X=\{\mathbf{\vec x}_1,\mathbf{\vec x}_2,\cdots,\mathbf{\vec x}_m\} $ 中的样本独立同分布地由$p_{data}(\overrightarrow{\mathbf{x}})$$ p_{data}(\mathbf{\vec x}) $ 产生，但是该分布是未知的。

   $p_{model}(\overrightarrow{\mathbf{x}};\theta )$$ p_{model}(\mathbf{\vec x};\theta) $ 是一族由$\theta$$ \theta $ 参数控制的概率分布函数族，希望通过$p_{model}(\overrightarrow{\mathbf{x}};\theta )$$ p_{model}(\mathbf{\vec x};\theta) $ 来估计真实的概率分布函数$p_{data}(\overrightarrow{\mathbf{x}})$$ p_{data}(\mathbf{\vec x}) $ ，也就是要估计$\theta$$ \theta $ 参数。

2. 最大似然估计最大化数据集$\mathbf{X}$$ \mathbf X $ 出现的概率。即：

   $${\theta }_{ML}=\arg \underset{\theta }{max}{p}_{model}(\mathbf{X};\theta )=\arg \underset{\theta }{max}\prod _{i=1}^m{p}_{model}({\overrightarrow{\mathbf{x}}}_i;\theta )$$
   • 由于概率的乘积会因为很多原因不便使用（如容易出现数值下溢出），因此转换为对数的形式：${\theta }_{ML}=\arg \underset{\theta }{max}\sum _{i=1}^m\log p_{model}({\overrightarrow{\mathbf{x}}}_i;\theta )$$ \theta_{ML}=\arg\max_\theta\sum_{i=1}^{m}\log p_{model}(\mathbf{\vec x}_i;\theta) $ 。
   • 因为$m$$ m $ 与$\theta$$ \theta $ 无关，因此它也等价于：${\theta }_{ML}=\arg \underset{\theta }{max}\sum _{i=1}^m\frac{1}{m}\log p_{model}({\overrightarrow{\mathbf{x}}}_i;\theta )$$ \theta_{ML}=\arg\max_\theta\sum_{i=1}^{m}\frac 1m \log p_{model}(\mathbf{\vec x}_i;\theta) $ 。
   • 由于数据集的经验分布为：${\hat{p}}_{data}(\overrightarrow{\mathbf{x}})=\frac{1}{m}\sum _{i=1}^m\delta (\overrightarrow{\mathbf{x}}-{\overrightarrow{\mathbf{x}}}_i)$$ \hat p_{data}(\mathbf{\vec x})=\frac 1m\sum_{i=1}^{m}\delta(\mathbf{\vec x}-\mathbf{\vec x}_i) $ ，其中$\delta (\cdot )$$ \delta(\cdot) $ 为狄拉克函数。因此：${\theta }_{ML}=\arg \underset{\theta }{max}{\mathbb{E}}_{\overrightarrow{\mathbf{x}}\sim {\hat{p}}_{data}}\log p_{model}(\overrightarrow{\mathbf{x}};\theta )$$ \theta_{ML}=\arg\max_\theta\mathbb E_{\mathbf{\vec x}\sim \hat p_{data}} \log p_{model}(\mathbf{\vec x};\theta) $ 。

3. 考虑数据集的经验分布${\hat{p}}_{data}$$ \hat p_{data} $ 和真实分布函数的估计量$p_{model}$$ p_{model} $ 之间的差异，KL散度为：

   $$D{|}_{KL}({\hat{p}}_{data}||p_{model};\theta )={\mathbb{E}}_{\overrightarrow{\mathbf{x}}\sim {\hat{p}}_{data}}[\log {\hat{p}}_{data}(\overrightarrow{\mathbf{x}})-\log p_{model}(\overrightarrow{\mathbf{x}}\mathbf{;}\theta )]$$

   由于$\log {\hat{p}}_{data}(\overrightarrow{\mathbf{x}})$$ \log \hat p_{data}(\mathbf{\vec x}) $ 与$\theta$$ \theta $ 无关，因此要使得$D{|}_{KL}({\hat{p}}_{data}||p_{model};\theta )$$ D|_{KL}(\hat p_{data} || p_{model};\theta) $ 最小，则只需要最小化${\mathbb{E}}_{\overrightarrow{\mathbf{x}}\sim {\hat{p}}_{data}}[-\log p_{model}(\overrightarrow{\mathbf{x}};\theta )]$$ \mathbb E_{\mathbf{\vec x}\sim \hat p_{data}}[-\log p_{model}(\mathbf{\vec x};\theta)] $ 。也就是最大化${\mathbb{E}}_{\overrightarrow{\mathbf{x}}\sim {\hat{p}}_{data}}\log p_{model}(\overrightarrow{\mathbf{x}};\theta )$$ \mathbb E_{\mathbf{\vec x}\sim \hat p_{data}} \log p_{model}(\mathbf{\vec x};\theta) $ 。

   因此：最大似然估计就是最小化数据集的经验分布${\hat{p}}_{data}$$ \hat p_{data} $ 和真实分布函数的估计量$p_{model}$$ p_{model} $ 之间的差异 。

4. 最大似然估计可以扩展到估计条件概率。

   假设数据集$\mathbf{X}=\{{\overrightarrow{\mathbf{x}}}_1,{\overrightarrow{\mathbf{x}}}_2,\cdots ,{\overrightarrow{\mathbf{x}}}_m\}$$ \mathbf X=\{\mathbf{\vec x}_1,\mathbf{\vec x}_2,\cdots,\mathbf{\vec x}_m\} $ ，对应的观测值为$\mathbf{Y}=\{y_1,y_2,\cdots ,y_m\}$$ \mathbf Y=\{y_1,y_2,\cdots,y_m\} $ 。则条件概率的最大似然估计为：${\theta }_{ML}=\arg \underset{\theta }{max}p(\mathbf{Y}\mid \mathbf{X};\theta )$$ \theta_{ML}=\arg\max_\theta p(\mathbf Y\mid \mathbf X;\theta) $ 。

   如果样本是独立同分布的，则可以分解成：${\theta }_{ML}=\arg \underset{\theta }{max}\sum _{i=1}^m\log p(y_i\mid {\overrightarrow{\mathbf{x}}}_i;\theta )$$ \theta_{ML}=\arg\max_\theta\sum_{i=1}^{m}\log p(y_i\mid \mathbf{\vec x}_i;\theta) $ 。

5. 最大似然估计有两个很好的性质：

   • 在某些条件下，最大似然估计具有一致性。这意味着当训练样本数量趋向于无穷时，参数的最大似然估计依概率收敛到参数的真实值。

     这些条件为：

     • 真实分布$p_{data}$$ p_{data} $ 必须位于分布函数族$p_{model}(\cdot ;\theta )$$ p_{model}(\cdot;\theta) $ 中；否则没有估计量可以表示$p_{data}$$ p_{data} $ 。
     • 真实分布$p_{data}$$ p_{data} $ 必须对应一个$\theta$$ \theta $ 值；否则从最大似然估计恢复出真实分布$p_{data}$$ p_{data} $ 之后，也不能解出参数$\theta$$ \theta $ 。

   • 最大似然估计具有很好的统计效率statistic efficiency。即只需要较少的样本就能达到一个良好的泛化误差。

6. 最大似然估计通常是机器学习中的首选估计准则。

7. 当样本数量太少导致过拟合时，正则化技巧是最大似然的有偏估计版本。

4.2 贝叶斯估计

4.2.1 贝叶斯估计 vs 最大似然估计

1. 在最大似然估计中，频率学派的观点是：真实参数$\theta$$ \theta $ 是未知的固定的值，而点估计$\hat{\theta }$$ \hat\theta $ 是随机变量。因为数据是随机生成的，所以数据集是随机的。

   在贝叶斯估计中，贝叶斯学派认为：数据集是能够直接观测到的，因此不是随机的。而真实参数$\theta$$ \theta $ 是未知的、不确定的，因此$\theta$$ \theta $ 是随机变量。

   • 对$\theta$$ \theta $ 的已知的知识表示成先验概率分布$p(\theta )$$ p(\theta) $ ：表示在观测到任何数据之前，对于参数$\theta$$ \theta $ 的可能取值的一个分布。

     在机器学习中，一般会选取一个相当宽泛的（熵比较高）的先验分布，如均匀分布。

   • 假设观测到一组数据$\mathbf{X}=\{{\overrightarrow{\mathbf{x}}}_1,{\overrightarrow{\mathbf{x}}}_2,\cdots ,{\overrightarrow{\mathbf{x}}}_m\}$$ \mathbf X=\{\mathbf{\vec x}_1,\mathbf{\vec x}_2,\cdots,\mathbf{\vec x}_m\} $ ，根据贝叶斯法则，有：

   $$p(\theta \mid \mathbf{X})=\frac{p(\mathbf{X}\mid \theta )p(\theta )}{p(\mathbf{X})}$$

2. 贝叶斯估计与最大似然估计有两个重要区别：

   • 贝叶斯估计预测下，一个样本的分布为：

     $$p({\overrightarrow{\mathbf{x}}}_{m+1}\mid {\overrightarrow{\mathbf{x}}}_1,{\overrightarrow{\mathbf{x}}}_2,\cdots ,{\overrightarrow{\mathbf{x}}}_m)=\int p({\overrightarrow{\mathbf{x}}}_{m+1}\mid \theta )p(\theta \mid {\overrightarrow{\mathbf{x}}}_1,{\overrightarrow{\mathbf{x}}}_2,\cdots ,{\overrightarrow{\mathbf{x}}}_m)d\theta$$

     而最大似然估计预测下，一个样本的分布为：$p_{model}(\overrightarrow{\mathbf{x}};\theta )$$ p_{model} (\mathbf{\vec x} ;\theta) $

   • 贝叶斯估计会使得概率密度函数向着先验概率分布的区域偏移。

3. 当训练数据有限时，贝叶斯估计通常比最大似然估计泛化性能更好。

   当训练样本数量很大时，贝叶斯估计往往比最大似然估计计算代价较高。

4.2.2 最大后验估计

1. 有时候希望获取参数$\theta$$ \theta $ 的一个可能的值，而不仅仅是它的一个分布。此时可以通过最大后验估计MAP 选择后验概率最大的点：

   $${\theta }_{MAP}=\arg \underset{\theta }{max}p(\theta \mid \mathbf{X})=\arg \underset{\theta }{max}[\log p(\mathbf{X}\mid \theta )+\log p(\theta )]$$

2. 最大后验估计具有最大似然估计没有的优势：拥有先验知识带来的信息。该信息有助于减少估计量的方差，但是增加了偏差。

3. 一些正则化方法可以被解释为最大后验估计，正则化项就是对应于$\log p(\theta )$$ \log p(\theta) $ 。

   • 并非所有的正则化方法都对应为某个最大后验估计。

     如：有些正则化项依赖于数据，则显然不是一个先验概率分布

4. 最大后验估计估计MAP 提供了一个直观的方法去设计复杂的、可解释的正则化项。

   更复杂的正则化项可以通过先验分布为混合高斯分布得到（而不仅仅是一个单独的高斯分布）。