4.4 对数几率回归

发布于 2024-02-05 23:12:36 字数 3745 浏览 0 评论 0 收藏 0

线性回归模型所预测的是一个连续值或任意实数。下面介绍一种能够回答Yes-No类型的问题（如，这封邮件是否为垃圾邮件？）的模型。

在机器学习领域，有一个极为常见的函数——logistic函数。由于外形与字母S相仿，它也称为sigmoid函数（sigma为等价于S的希腊字母）。

从上图可清楚地看到logistic/sigmoid函数呈现出类似字母“S”的形状。

logistic函数是一个概率分布函数，即给定某个特定输入，该函数将计算输出为“success”的概率，也就是对问题的回答为“Yes”的概率。

这个函数接受单个输入值。为使该函数能够接受多维数据，或来自训练集中样本的特征，需要将它们合并为单个值。可利用上述的线性回归模型表达式。

为在代码中对此进行表示，可复用线性模型的所有元素。不过，为了运用sigmoid函数，需要对预测部分稍做修改。

下面重点讨论该模型的损失函数，也可以使用平方误差。logistic函数会计算回答为“Yes”的概率。在训练集中，“Yes”回答应当代表100%的概率，或输出值为1的概率。然后，损失应当刻画的是对于特定样本，模型为其分配一个小于1的值的概率。因此，回答“No”将表示概率值为0，于是损失是模型为那个样本所分配的概率值，并取平方。

假设某个样本的期望输出为“Yes”，但模型为其预测了一个非常低的接近于0的概率，这意味着几乎可以100%地认为答案为“No”。

平方误差所惩罚的是与损失为同一数量级的情形，就好比为“No”输出赋予的概率为20%、30%，甚至50%。

对于这种类型的问题，采取如下的交叉熵（cross entropy）损失函数会更为有效。

可以用可视化的方式依据对“Yes”的预测结果，对这两种损失函数进行比较。

交叉熵与平方误差（L2）函数会被叠加绘制。交叉熵输出了一个更大的值（“惩罚”），因为输出与期望值相去甚远。

借助交叉熵，当模型对期望输出为“Yes”的样本的预测概率接近于0时，罚项的值就会增长到接近于无穷大。这就使得训练完成后，模型不可能做出这样的错误预测。这使得交叉熵更适合作为该模型的损失函数。

TensorFlow提供了一个可在单个优化步骤中直接为一个sigmoid输出计算交叉熵的方法：

下面将该模型运用到一些数据上。我们准备使用来自https://www.kaggle.com/c/titanic/data的Kaggle竞赛数据集Titanic。

该模型应能依据乘客的年龄、性别和船票的等级推断他或她是否能够幸存下来。

为增添一些趣味性，这次准备从文件读取数据。请前往该竞赛对应的页面下载train.csv文件。

编写读取文件的基本代码。对于之前编写的框架，这是一个新的方法。你可加载和解析它，并创建一个批次来读取排列在某个张量中的多行数据，以提升推断计算的效率。

需要使用这个数据集中的属性数据（categorical data）。船票等级和性别都属于字符串特征，它们的取值都来自一个预定义的集合。为了在推断模型中使用这些数据，便需要将其转换为数值型特征。一种比较简单的方法是为每个可能的取值分配一个数值。例如，用“1”代表一等船票，用“2”和“3”分别代表二、三等船票，但这种方式会为这些取值强加一种实际并不存在的线性关系。我们不能说“三等票是一等票的3倍”，正确的做法是将每个属性特征扩展为N维的布尔型特征，每个可能的取值对应一维。若具备该属性，则相应的维度上取值为1。这样就可使模型独立地学习到每个可能的取值的重要性。在本例中，持“一等票”的乘客幸存的概率要高于其他乘客。

使用属性数据时，通常都是先将其转换为多维布尔型特征，每个可能的取值对应一维。这使得模型能够对每个可能的取值独立加权。

对于只可能取两种值的属性，如本例数据集中的性别，用单个变量来表示已经足够，这是因为可表达这些值之间的线性关系。例如，若令female=1，male=0，则male=1–female，因此单个权值便可学习同时表示两种状态。