Question

在半监督学习的框架下，P(x)产生的未标记样本和P(x,y)中的标记样本都用于估计P(y｜x)或者根据x预测y。

在深度学习的背景下，半监督学习通常指的是学习一个表示h＝f(x)。学习表示的目的是使相同类中的样本有类似的表示。无监督学习可以为如何在表示空间聚集样本提供有用线索。在输入空间紧密聚集的样本应该被映射到类似的表示。在许多情况下，新空间上的线性分类器可以达到较好的泛化（Belkin and Niyogi，2002；Chapelle et al.，2003）。这种方法的一个经典变种是使用主成分分析作为分类前（在投影后的数据上分类）的预处理步骤。

我们可以构建这样一个模型，其中生成模型P(x)或P(x,y)与判别模型P(y｜x)共享参数，而不用分离无监督和监督部分。我们权衡监督模型准则−log P(y｜x)和无监督或生成模型准则（如−log P(x)或−log P(x,y)）。生成模型准则表达了对监督学习问题解的特殊形式的先验知识（Lasserre et al.，2006），即P(x)的结构通过某种共享参数的方式连接到P(y｜x)。通过控制在总准则中的生成准则，我们可以获得比纯生成或纯判别训练准则更好的权衡（Lasserre et al.，2006；Larochelle and Bengio，2008a）。

Salakhutdinov and Hinton（2008）描述了一种学习回归核机器中核函数的方法，其中建模P(x)时使用的未标记样本大大提高了P(y｜x)的效果。

更多半监督学习的信息，请参阅Chapelle et al.（2006）。