如何处理不平衡的多标签数据集？

Question

我目前正在尝试使用带有4个标签（A，B，C，D）的Pytorch Densenet121训练图像分类模型。我有224000张图像，每个图像以的形式标记为 [1，0，0，1] （图像中存在标签A和D）。我替换了Densenet121的最后一个密集层。该模型是使用Adam Optimizer训练的，LR为0.0001（每个时期的衰减为10倍），并接受了4个时期的训练。在我相信班级不平衡问题已经解决之后，我将尝试更多时代。

估计的阳性类数为 [19000，65000，38000，105000] 。当我训练模型而没有上课平衡和权重（与Bceloss）时，我对标签A和C的召回率很低（实际上，真正的正面TP和假阳性FP小于20），

我尝试了3种方法来处理在Google和Stackoverflow进行了广泛的搜索后，类不平衡。

方法1：班级体重 我试图通过使用负样本与正样本的比率来实现班级权重。

y = train_df[CLASSES];
pos_weight = (y==0).sum()/(y==1).sum()

pos_weight = torch.Tensor(pos_weight)
if torch.cuda.is_available():
    pos_weight = pos_weight.cuda()
criterion = nn.BCEWithLogitsLoss(pos_weight=pos_weight)

最终的班级权重为 [10.79，2.45，4.90，1.13] 。我得到了相反的效果；具有太多的积极预测，导致精确度较低。

方法2：更改班级权重的逻辑

我还试图通过获取数据集中的积极样本的比例并进行倒数来获得班级权重。最终的班级权重为 [11.95，3.49，5.97，2.16] 。我仍然得到太多的积极预测。

class_dist = y.apply(pd.Series.value_counts)
class_dist_norm = class_dist.loc[1.0]/class_dist.loc[1.0].sum()
pos_weight = 1/class_dist_norm

方法3：局灶性损失

我还尝试了以下实施（但仍然得到太多的积极预测）尝试了焦点损失。我已经使用了 alpha 参数的班级权重。从但我做了一些修改更适合我的用例。

class FocalLoss(nn.CrossEntropyLoss):
    ''' Focal loss for classification tasks on imbalanced datasets '''

    def __init__(self, alpha=None, gamma=1.5, ignore_index=-100, reduction='mean', epsilon=1e-6):
        super().__init__(weight=alpha, ignore_index=ignore_index, reduction='mean')
        self.reduction = reduction
        self.gamma = gamma
        self.epsilon = epsilon
        self.alpha = alpha

    def forward(self, input_, target):
        # cross_entropy = super().forward(input_, target)
        # Temporarily mask out ignore index to '0' for valid gather-indices input.
        # This won't contribute final loss as the cross_entropy contribution
        # for these would be zero.
        target = target * (target != self.ignore_index).long()

        # p_t = p if target = 1, p_t = (1-p) if target = 0, where p is the probability of predicting target = 1

        p_t = input_ * target + (1 - input_) * (1 - target)

        # Loss = -(alpha)( 1 - p_t)^gamma log(p_t), where -log(p_t) is cross entropy => loss = (alpha)(1-p_t)^gamma * cross_entropy (Epsilon added to prevent error with log(0) when class probability is 0)
        if self.alpha != None:
            loss = -1 * self.alpha * torch.pow(1 - p_t, self.gamma) * torch.log(p_t + self.epsilon)
        else:
            loss = -1 * torch.pow(1 - p_t, self.gamma) * torch.log(p_t + self.epsilon)


        if self.reduction == 'mean':
            return torch.mean(loss)
        elif self.reduction == 'sum':
            return torch.sum(loss)
        else:
            return loss

要注意的一件事是，在第一个时期之后使用停滞的损失，但是时代之间的指标有所不同。

我已经考虑了不足的采样和过采样，但是由于每个图像都具有1个以上的标签，因此我不确定如何进行。一种可能的方法是通过复制1个标签的图像来超过图像。但是我担心该模型只会在具有1个标签的图像上概括，但在带有多个标签的图像上表现不佳。

因此，我想问一下我应该尝试的方法，还是在方法中犯了任何错误。

任何建议将不胜感激。

谢谢你！

Answer 1

试试 nofollow noreferrer“> poveadedrandomsampler 。它为每个样本增加了权重，并在批处理级别执行数据平衡。