Question

2.1 监督学习

1. 监督学习中，训练数据的每个样本都含有标记，该标记由人工打标，所以称之为监督 。

2. 监督学习假设输入 $ MathJax-Element-34 $ 与标记 $ MathJax-Element-81 $ 遵循联合概率分布 $ MathJax-Element-36 $ ，训练数据和测试数据依联合概率分布 $ MathJax-Element-37 $ 独立同分布产生。

   学习过程中，假定这个联合概率分布存在，但是具体定义未知。

3. 监督学习的目的在于学习一个由输入到输出的映射，该映射由模型表示。

   模型属于由输入空间到输出空间的映射的集合，该集合就是解空间。解空间的确定意味着学习范围的确定。

4. 监督学习的模型可以为概率模型或者非概率模型：

   • 概率模型由条件概率分布 $ MathJax-Element-45 $ 表示。
   • 非概率模型由决策函数 $ MathJax-Element-46 $ 表示。

5. 监督学习分为学习和预测两个过程。

   给定训练集 $ MathJax-Element-40 $ ，其中 $ MathJax-Element-41 $ 为输入值， $ MathJax-Element-42 $ 是标记值。假设训练数据与测试数据是依据联合概率分布 $ MathJax-Element-88 $ 独立同分布的产生的。

   • 学习过程：在给定的训练集 $ MathJax-Element-113 $ 上，通过学习训练得到一个模型。该模型表示为条件概率分布 $ MathJax-Element-45 $ 或者决策函数 $ MathJax-Element-46 $

   • 预测过程：对给定的测试样本 $ MathJax-Element-47 $ ，给出其预测结果：

     • 对于概率模型，其预测值为： $ MathJax-Element-48 $
     • 对于非概率模型，其预测值为： $ MathJax-Element-49 $

6. 可以通过无监督学习来求解监督学习问题 $ MathJax-Element-57 $ ：

   • 首先求解无监督学习问题来学习联合概率分布 $ MathJax-Element-88 $
   • 然后计算： $ MathJax-Element-52 $ 。

2.2 生成模型和判别模型

1. 监督学习又分为生成方法和判别方法，所用到的模型分别称为生成模型和判别模型。

2. 生成方法 ：通过数据学习联合概率分布 $ MathJax-Element-53 $ ，然后求出条件概率分布 $ MathJax-Element-57 $ 作为预测的模型。

   即生成模型为：

   $ p(y\mid \mathbf{\vec x})=\frac{ p(\mathbf{\vec x}, y)} {p(\mathbf{\vec x})} $
   • 生成方法的优点：能还原联合概率分布 $ MathJax-Element-55 $ ，收敛速度快，且当存在隐变量时只能用生成方法。
   • 生成方法有：朴素贝叶斯法，隐马尔可夫链。

3. 判别方法 ：直接学习决策函数 $ MathJax-Element-56 $ 或者条件概率分布 $ MathJax-Element-57 $ 的模型。

   • 判别方法的优点：直接预测，一般准确率更高，且一般比较简化问题。
   • 判别方法有：逻辑回归，决策树。