这个自定义的pytorch损失功能可区分吗

Question

我有一个自定义forward实现了Pytorch损失。培训效果很好。我已经检查了lose.grad_fn，它不是none。 我试图理解两件事：

1. 此函数如何可区分，因为 - else 在从输入到输出的路径上语句？

2. gt（地面真相输入）到损失（输出）的路径是否需要区分？或仅来自pred（预测输入）的路径？

这是源代码：

class FocalLoss(nn.Module):
    def __init__(self):
        super(FocalLoss, self).__init__()

    def forward(self, pred, gt):
        pos_inds = gt.eq(1).float()
        neg_inds = gt.lt(1).float()
        neg_weights = torch.pow(1 - gt, 4)

        pos_loss = torch.log(pred) * torch.pow(1 - pred, 2) * pos_inds
        neg_loss = torch.log(1 - pred) * torch.pow(pred, 2) * neg_weights * neg_inds

        num_pos = pos_inds.float().sum()
        pos_loss_s = pos_loss.sum()
        neg_loss_s = neg_loss.sum()
        if num_pos == 0:
            loss = - neg_loss_s
        else:
            loss = - (pos_loss_s + neg_loss_s) / num_pos

        return loss

Answer 1

如果语句不是计算图的一部分。它是用于动态构建此图的代码的一部分（即forward函数），但本身并不是其中的一部分。要遵循的原则是问自己是否使用grad_fn back track track track track track track track track track track track track track（ ie 输入和参数）每个节点的回调，通过图形反向传播。答案是您只有在每个操作员都可以区分的情况下才能做到这一点：用编程术语，他们实现向后功能操作（ aka grad_fn）。

1. 在您的示例中，num_pos是否等于0是否，所产生的损耗张量将取决于neg_loss_s单独还是pos_loss_s和neg_loss_s。但是，在任何一种情况下，结果损失张量仍然连接到输入pred：

   ：

   • 通过一种方法：“ neg_loss_s”节点
   • 或 另一个：“ pos_loss_s”和“ neg_loss_s”节点。

无论哪种方式，在您的设置中，操作都是可区分的。

2. 如果gt是一个接地真相张量，则它不需要梯度，并且从最终损失到最终损失的操作无需区分。在您的示例中，这就是pos_inds和neg_inds都是非差异的，因为它们是布尔运算符，因此neg__inds是这种情况。

Answer 2

pytorch确实不是计算梯度wrt损失函数本身。 pytorch记录了forward通过，例如日志，凸起，乘法，加法等，在forward通过期间执行的标准数学操作的顺序向后（）被调用。因此，只要您仅使用标准数学操作来计算损失，的存在条件与pytorch无关紧要。