Question

某些情况下，我们希望拟合以下分布来正则化得分匹配

而不是拟合真实分布p_data。分布q(x｜y)是一个损坏过程，通常在形成x的过程中会向y中添加少量噪声。

去噪得分匹配非常有用，因为在实践中，通常我们不能获取真实的p_data，而只能得到其样本确定的经验分布。给定足够容量，任何一致估计都会使p_model成为一组以训练点为中心的Dirac分布。考虑在第5.4.5节介绍的渐近一致性上的损失，通过q来平滑有助于缓解这个问题。Kingma and LeCun（2010b）介绍了平滑分布q为正态分布噪声的正则化得分匹配。

回顾第14.5.1节，有一些自编码器训练算法等价于得分匹配或去噪得分匹配。因此，这些自编码器训练算法也是解决配分函数问题的一种方式。