Question

10.1 稀疏表达

1. 稀疏表达：鼓励 $ MathJax-Element-525 $ 的表达 $ MathJax-Element-466 $ 为稀疏的，即：目标函数为： $ MathJax-Element-815 $ 。

   • 它与普通正则化区别是：它对 $ MathJax-Element-525 $ 的表达 $ MathJax-Element-466 $ 进行限制，而不是参数 $ MathJax-Element-467 $ 进行限制。

   • 通常采用 $ MathJax-Element-468 $ 正则化可以获取稀疏表达： $ MathJax-Element-469 $ 。

     也有其他方法可以获取稀疏表达，如：正交匹配追踪orthogonal matching pursuit：

     $ \arg\min_{\mathbf{\vec {h}},||\mathbf{\vec {h}}||_0 \lt k}||\mathbf{\vec x}-\mathbf W\mathbf{\vec h}||^{2} $

     其中 $ MathJax-Element-470 $ 是 $ MathJax-Element-471 $ 中非零项的个数。

     当 $ MathJax-Element-472 $ 被限定为正交矩阵时，该问题可以被高效解决。

10.2 半监督学习

1. 在深度学习中，半监督学习指的是学习一个表达representation ： $ MathJax-Element-473 $ 。学习的目标是：使得同类中的样例有类似的表达。

2. 通常可以构建两个模型：生成模型 $ MathJax-Element-479 $ （或者 $ MathJax-Element-478 $ ） 与判别模型 $ MathJax-Element-480 $ ，其中生成模型与判别模型共享参数。

   • 生成模型 $ MathJax-Element-479 $ （或者 $ MathJax-Element-478 $ ） 表达了对于监督学习问题解的先验知识。

     即： $ MathJax-Element-479 $ 的结构通过共享参数的方式连接到 $ MathJax-Element-480 $ 。

   • 不需要将无监督学习和监督学习部分进行分离，二者位于同一个网络结构中。

   • 最终需要对监督准则 $ MathJax-Element-481 $ 与无监督准则 $ MathJax-Element-482 $ （或者 $ MathJax-Element-483 $ ） 进行权衡。

     这样可以得到比单纯的生成模型或者单纯的判别模型更好的模型，从而提高了泛化能力。

10.3 多任务学习

1. 多任务学习是指几个任务共享相同的样本集。这可以视作一种参数上的软约束。

   下图给出了多任务学习中的一个非常普遍的形式：有两个监督任务和一个无监督任务。所有的任务都共享相同的输入 $ MathJax-Element-525 $ 和第一级中间层 $ MathJax-Element-485 $ ，具体的任务使用了具体的表示层。

   因为共享参数，其统计强度大大提高因此能改进泛化能力。但是前提条件是：确实有某些信息在不同任务之间共享了。这要求不同任务之间存在某些统计关系。

   

2. 多任务学习刻画了一个先验知识：这些不同的任务中，能解释数据变化的因子是跨任务共享的。

10.4 正则化和欠定问题

1. 机器学习的许多线性问题（包括线性回归和PCA），都依赖于求 $ MathJax-Element-530 $ 的逆矩阵。

   • 当 $ MathJax-Element-530 $ 是可逆时，该问题有解析解。
   • 当 $ MathJax-Element-530 $ 是奇异矩阵时，该问题是欠定的。此时可以考虑正则化形式：求解 $ MathJax-Element-531 $ 的逆矩阵。

2. 大多数形式的正则化能够用于欠定问题。

   如：Moore-Penrose求解欠定线性方程， $ MathJax-Element-532 $ 伪逆的一个定义： $ MathJax-Element-865 $ 。

3. 使用正则化来解决欠定问题的思想超出了机器学习的范畴。