Question

慢特征分析（slow feature analysis，SFA）是使用来自时间信号的信息学习不变特征的线性因子模型（Wiskott and Sejnowski，2002）。

慢特征分析的想法源于所谓的慢性原则（slowness principle）。其基本思想是，与场景中起描述作用的单个量度相比，场景的重要特性通常变化得非常缓慢。例如，在计算机视觉中，单个像素值可以非常快速地改变。如果斑马从左到右移动穿过图像并且它的条纹穿过对应的像素时，该像素将迅速从黑色变为白色，并再次恢复成黑色。通过比较，指示斑马是否在图像中的特征将不发生改变，并且描述斑马位置的特征将缓慢地改变。因此，我们可能希望将模型正则化，从而能够学习到那些随时间变化较为缓慢的特征。

慢性原则早于慢特征分析，并已被应用于各种模型（Hinton，1989；Földiák，1989；Mobahi et al.，2009；Bergstra and Bengio，2009）。一般来说，我们可以将慢性原则应用于可以使用梯度下降训练的任何可微分模型。为了引入慢性原则，我们可以向代价函数添加以下项

其中λ是确定慢度正则化强度的超参数项，t是样本时间序列的索引，f是需要正则化的特征提取器，L是测量f（x^(t)）和f(x^(t+1))之间的距离的损失函数。L的一个常见选择是均方误差。

慢特征分析是慢性原则中一个特别高效的应用。由于它被应用于线性特征提取器，并且可以通过闭式解训练，所以它是高效的。像ICA的一些变种一样，SFA本身并不是生成模型，只是在输入空间和特征空间之间定义了一个线性映射，但是没有定义特征空间的先验，因此没有在输入空间上施加分布p(x)。

SFA算法（Wiskott and Sejnowski，2002）先将f(x;θ)定义为线性变换，然后求解如下优化问题：

并且满足下面的约束：

以及

学习特征具有零均值的约束对于使问题具有唯一解是必要的，否则我们可以向所有特征值添加一个常数，并获得具有相等慢度目标值的不同解。特征具有单位方差的约束对于防止所有特征趋近于0的病态解是必要的。与PCA类似，SFA特征是有序的，其中学习第一特征是最慢的。要学习多个特征，我们还必须添加约束

这要求学习的特征必须彼此线性去相关。没有这个约束，所有学习到的特征将简单地捕获一个最慢的信号。可以想象使用其他机制，如最小化重构误差，也可以迫使特征多样化。但是由于SFA特征的线性，这种去相关机制只能得到一种简单的解。SFA问题可以通过线性代数软件获得闭式解。

在运行SFA之前，SFA通常通过对x使用非线性的基扩充来学习非线性特征。例如，通常用x的二次基扩充来代替原来的x，得到一个包含所有x_ix_j的向量。由此，我们可以通过反复地学习一个线性SFA特征提取器，对其输出应用非线性基扩展，然后在该扩展之上学习另一个线性SFA特征提取器的方式来组合线性SFA模块，从而学习深度非线性慢特征提取器。

当在自然场景视频的小块空间部分上训练时，使用二次基扩展的SFA所学习到的特征与V1皮层中那些复杂细胞的特征有许多共同特性（Berkes and Wiskott，2005）。当在计算机渲染的3D环境内随机运动的视频上训练时，深度SFA模型能够学习的特征与大鼠脑中用于导航的神经元学到的特征有许多共同特性（Franzius et al.，2007）。因此从生物学角度上来说SFA是一个合理的、有依据的模型。

SFA的一个主要优点是，即使在深度非线性条件下，它依然能够在理论上预测SFA能够学习哪些特征。为了做出这样的理论预测，必须知道关于配置空间的环境动力（例如，在3D渲染环境中随机运动的例子中，理论分析是从相机位置、速度的概率分布中入手的）。已知潜在因子如何改变的情况下，我们能够通过理论分析解出表达这些因子的最佳函数。在实践中，基于模拟数据的实验上，使用深度SFA似乎能够恢复理论预测的函数。相比之下，在其他学习算法中，代价函数高度依赖于特定像素值，使得难以确定模型将学习到什么特征。

深度SFA也已经被用于学习用在对象识别和姿态估计的特征（Franzius et al.，2008）。到目前为止，慢性原则尚未成为任何最先进应用的基础。究竟是什么因素限制了其性能仍有待研究。我们推测，或许慢度先验太过强势，并且最好添加这样一个先验使得当前时间步到下一个时间步的预测更加容易，而不是加一个先验使得特征近似为一个常数。对象的位置是一个有用的特征，无论对象的速度是高还是低。但慢性原则鼓励模型忽略具有高速度的对象的位置。