Question

前文所述的权重衰减直接惩罚模型参数。另一种策略是惩罚神经网络中的激活单元，稀疏化激活单元。这种策略间接地对模型参数施加了复杂惩罚。

我们已经讨论过（在第7.1.2节中）L¹惩罚如何诱导稀疏的参数，即许多参数为零（或接近于零）。另一方面，表示的稀疏描述了许多元素是零（或接近零）的表示。我们可以线性回归的情况简单说明这种区别：

第一个表达式是参数稀疏的线性回归模型的例子。第二个表达式是数据x具有稀疏表示h的线性回归。也就是说，h是x的一个函数，在某种意义上表示存在于x中的信息，但只是用一个稀疏向量表示。

表示的正则化可以使用参数正则化中同种类型的机制实现。

表示的范数惩罚正则化是通过向损失函数J添加对表示的范数惩罚来实现的。我们将这个惩罚记作Ω(h)。和以前一样，我们将正则化后的损失函数记作：

其中α∈[0,∞]权衡范数惩罚项的相对贡献，越大的α对应越多的正则化。

正如对参数的L¹惩罚诱导参数稀疏性，对表示元素的L¹惩罚诱导稀疏的表示：Ω(h)＝当然L¹惩罚是使表示稀疏的方法之一。其他方法还包括从表示上的Student-t先验导出的惩罚（Olshausen and Field，1996；Bergstra，2011）和KL散度惩罚（Larochelle and Bengio，2008b），这些方法对于将表示中的元素约束于单位区间上特别有用。Lee et al.（2008）和Goodfellow et al.（2009）都提供了正则化几个样本平均激活的例子，即令接近某些目标值（如每项都是.01的向量）。

还有一些其他方法通过激活值的硬性约束来获得表示稀疏。例如，正交匹配追踪（orthogonal matching pursuit）（Pati et al.，1993）通过解决以下约束优化问题将输入值x编码成表示h

其中是h中非零项的个数。当W被约束为正交时，我们可以高效地解决这个问题。这种方法通常被称为OMP-k，通过k指定允许的非零特征数量。Coates and Ng（2011）证明OMP-1可以成为深度架构中非常有效的特征提取器。

含有隐藏单元的模型在本质上都能变得稀疏。在本书中，我们将看到在各种情况下使用稀疏正则化的例子。