焦点损失 NLP/文本数据 pytorch - 改善结果

Question

我有一个 NLP/文本数据分类问题，其中存在非常倾斜的分布 - 类 0 - 98%，类 1 - 2% 对于我的训练和验证数据，我正在进行过采样，我的类别分布为类别 0 - 55%，类别 1 - 45%。 测试数据存在偏态分布，

我使用 nn.BCEWithLogitsLoss(pos_weight=tensor(1.2579, device='cuda:0')) 构建了一个模型。 pos_weight 是使用 55/45（训练数据中的类分布）计算的。

在测试数据的第 1 类中，我得到了 f1 性能 <代码>0.07, 真阴性、假阳性、假阴性、真阳​​性 = (28809, 13258, 537, 495)

我使用下面的代码更改为焦点损失，但我的性能并没有提高很多。测试数据类别 1 上的 f1 仍然相同并且 真阴性、假阳性、假阴性、真阳​​性 = (32527, 9540, 640, 392)

kornia.losses.binary_focal_loss_with_logits(probssss, labelsss,alpha=0.25,gamma=2.0,reduction ='mean')

1. 我的 alpha 和 gamma 参数是否错误？我应该尝试什么特定的值吗？我可以尝试调整它们，但这可能需要大量的时间和资源。因此，我正在寻找
2. 针对我的 nn.BCEWithLogitsLoss(pos_weight=tensor(1.2579, device='cuda:0')) 的建议，我应该为 pos_weight 使用任何其他值吗？请记住，我的目标是为测试数据类 1 获得最大的 f1 性能

#update

我正在使用手套嵌入构建 CNN - 我获取我的文本并找到他们的手套嵌入- 我正在删除所有标点符号，除此之外没有其他主要数据清理。我对调整焦点损失的参数 - alpha 和 gamma 感兴趣

我的模型如下

class CNN(nn.Module):
    
    def __init__(self,
                 pretrained_embedding,
                 embed_dim,
                 filter_sizes,
                 num_filters,
                 fc1_neurons,
                 fc2_neurons,
                 dropout):

        super(CNN, self).__init__()
        
        # Embedding layer
        self.vocab_size, self.embed_dim = pretrained_embedding.shape
        self.embedding = nn.Embedding.from_pretrained(pretrained_embedding,
                                                      freeze=True)

        # Conv Network
        self.conv1d_list = nn.ModuleList([
            nn.Conv1d(in_channels=self.embed_dim,
                      out_channels=num_filters[i],
                      kernel_size=filter_sizes[i])
            for i in range(len(filter_sizes))
        ])
        
        #Batchnorm
        self.batch_norm1 = nn.BatchNorm1d(num_filters[0] * len(filter_sizes))
        
        # Dropout Layer
        self.dropout = nn.Dropout(p=dropout)
        
        # RELU activation function
        self.relu =  nn.ReLU()
        
        # Fully-connected layers
#         self.fc1 = nn.Linear(np.sum(num_filters), fc1_neurons)
        
        self.batch_norm2 = nn.BatchNorm1d(num_filters)
        
        self.fc2 = nn.Linear(np.sum(num_filters), fc2_neurons)
        
        self.batch_norm3 = nn.BatchNorm1d(fc2_neurons)
        
        self.fc3 = nn.Linear(fc2_neurons, 1)

Answer 1

我认为比这些参数值更重要的是如何训练特征。您是否从头开始训练 NLP 模型，即仅对您的文本进行训练，还是使用部分预训练的模型？考虑到你的样本量，我建议后者。

Answer 2

我认为你应该尝试基于 LSTM、GRU 或 Transformers 的方法。
我会推荐 Transformer 模型，例如 BERT、Distilbert、Roberta 等。您可以从头开始训练，也可以使用 pretrained 对其进行微调。与基于 CNN 的方法相比，它会给你更好的 F1 分数。

另外，您可以尝试添加班级权重。它可能有助于提高准确性。

Answer 3

我鼓励您检查 sklearn.utils.class_weight.compute_sample_weight 来计算样本的权重，并检查 sklearn.utils.class_weight.compute_class_weight 来计算各个类别的权重。

由于您有 2% - 98% 的类重新分区焦损，这绝对是一个不错的选择！我认为你的参数没问题。

接下来您是否尝试在数据加载器中使用采样器？我认为 torch.utils.data.WeightedRandomSampler 正是您所需要的。

这是一个小例子：

from torch.utils.data import WeightedRandomSampler, DataLoader
from sklearn.utils.class_weight import compute_sample_weight

torch.manual_seed(0)

weights = compute_sample_weight('balanced', dataset.classes)
sampler = WeightedRandomSampler(weights, len(weights))
loader = DataLoader(dataset, sampler=sampler)

counts_train = [0 for _ in range(2)]
for x, y in loader:
  counts_train[y] += 1

$ counts_train
[499, 501]

我通过您的修复生成了一个包含 1000 个示例的数据集，dataset.classes 是一个大小为 1000 的数组，它包含所有标签。

我会在所有子集中保留相同的标签重新分区。这样做将提高模型稳定性。

请毫不犹豫地仅在您的训练集上使用数据增强。它将增加示例数量并使模型更加稳健。
您可以查看此存储库。

跳它有帮助！