使用 num_labels 1 vs 2 进行 Huggingface 变形金刚分类

Question

问题1）

这个问题的答案表明，对于二元分类问题，我可以使用num_labels 为 1（正或负）或 2（正和负）。有关于哪种设置更好的指导吗？看来，如果我们使用 1，则将使用 sigmoid 函数计算概率，如果我们使用 2，则将使用 softmax 函数计算概率。

问题 2）

在这两种情况下，我的 y 标签是否相同？每个数据点都有 0 或 1 而不是一个热编码？例如，如果我有 2 个数据点，那么 y 将是 0,1 而不是 [0,0],[0,1]

我有非常不平衡的分类问题，其中1 类仅出现 2% 的次数。 进行过采样。

在我的训练数据中，我对问题 3)

我的数据位于 pandas dataframe 中，我将其转换为数据集并使用下面的方法创建 y 变量。如果我打算使用 num_labels=1，我应该如何转换我的 y 列 - label？

`train_dataset=Dataset.from_pandas(train_df).cast_column("label", ClassLabel(num_classes=2, names=['neg', 'pos'], names_file=None, id=None))`

Answer 1

好吧，可能有点晚了。但是我想指出一件事，根据拥抱的面积代码，如果您设置了num_labels = 1，它实际上会触发回归建模，并​​且损失函数将设置为mseloss（）。 You can find the code here< /a>。

另外，在他们自己的教程中，对于二进制分类问题（IMDB，正面与负面），他们设置了num_labels = 2。

from transformers import AutoModelForSequenceClassification, TrainingArguments, Trainer
model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased", num_labels=2)

这是链接。

Answer 2

1. 正如回答 a>， sigmoid 激活函数只是2级 softmax 激活函数的特殊情况。将某些权重设置为零，第二个输出始终为零。因此出于绩效原因，例如更快更新和更少的参数，您应该使用 sigmoid 。

   。
   

2. 当您的输出尺寸为一个时，单热编码意味着将0分配给一个类，而将1分配给另一个类。因此，对于2个数据点，您的y将为0,1。

3. 用于给代表类的整数标签提供名称。为了使用，您的y列应包含零和一个。您可以在下面的示例中看到classLabel带有两个值的列，由一个列表示，该列由0和1。
   

pytorch示例：

from datasets import Dataset,ClassLabel
import pandas as pd
import torch

train_df = pd.DataFrame({'column':[1,2,3,4,5],'label':[0,1,0,1,0]})
train_dataset=Dataset.from_pandas(train_df).cast_column("label", ClassLabel(num_classes=2, names=['neg', 'pos']))
train_dataset.set_format(type='torch', columns=['column', 'label'])
dataloader = torch.utils.data.DataLoader(train_dataset, batch_size=5)
print(next(iter(dataloader)))

输出：

{'column': tensor([1, 2, 3, 4, 5]), 'label': tensor([0, 1, 0, 1, 0])}

• 如果您的y列由neg和pos值组成以下：

label_mapping = {'neg':0,'pos':1}
train_df['label'] = train_df['label'].apply(lambda x:label_mapping['x'])