在Pytorch和Captum（分类）中具有多个不同形状输入的神经网络中的特征重要性

Question

我已经开发了一个具有三种输入类型的模型。图像，分类数据和数值数据。对于图像数据，我使用了我开发自己的网络的其他两个使用Resnet50。

class MulticlassClassification(nn.Module):
    def __init__(self, cat_size, num_col, output_size, layers, p=0.4):
        super(MulticlassClassification, self).__init__()
        
        # IMAGE: ResNet
        self.cnn = models.resnet50(pretrained = True)
        for param in self.cnn.parameters():
            param.requires_grad = False
        n_inputs = self.cnn.fc.in_features
        self.cnn.fc = nn.Sequential(
          nn.Linear(n_inputs, 250), 
          nn.ReLU(), 
          nn.Dropout(p),
          nn.Linear(250, output_size),                   
          nn.LogSoftmax(dim=1)
        )
        
        # TABULAR 
        self.all_embeddings = nn.ModuleList(
            [nn.Embedding(categories, size) for categories, size in cat_size]
        )
        self.embedding_dropout = nn.Dropout(p)
        self.batch_norm_num = nn.BatchNorm1d(num_col)

        all_layers = []
        num_cat_col = sum(e.embedding_dim for e in self.all_embeddings)
        input_size = num_cat_col + num_col

        for i in layers:
            all_layers.append(nn.Linear(input_size, i))
            all_layers.append(nn.ReLU(inplace=True))
            all_layers.append(nn.BatchNorm1d(i))
            all_layers.append(nn.Dropout(p))
            input_size = i

        all_layers.append(nn.Linear(layers[-1], output_size))

        self.layers = nn.Sequential(*all_layers)
        
        #combine
        self.combine_fc = nn.Linear(output_size * 2, output_size)

    def forward(self, image, x_categorical, x_numerical):
        embeddings = []
        for i, embedding in enumerate(self.all_embeddings):
            print(x_categorical[:,i])
            embeddings.append(embedding(x_categorical[:,i]))
        x = torch.cat(embeddings, 1)
        x = self.embedding_dropout(x)

        x_numerical = self.batch_norm_num(x_numerical)
        x = torch.cat([x, x_numerical], 1)
        x = self.layers(x)
        
        # img
        x2 = self.cnn(image)
        
        # combine
        x3 = torch.cat([x, x2], 1)
        x3 = F.relu(self.combine_fc(x3))
        
        return x

现在，经过成功的培训，我想使用Captum库来计算集成梯度。

from captum.attr import IntegratedGradients
ig = IntegratedGradients(model)

testiter = iter(testloader)
img, stack_cat, stack_num, target = next(testiter)
attributions_ig = ig.attribute(inputs=(img.cuda(), stack_cat.cuda(), stack_num.cuda()), target=target.cuda())

在这里，我有一个错误：

RuntimeError：参数1“索引”的预期张量具有以下标量类型之一：长，int;但是得到torch.cuda.floattensor（在检查嵌入的论点时）

我发现Captum将错误形状的张量注入了我的X_Categorical Input（用我的正向方法打印）。似乎Captum只看到第一个输入张量，并将其形状用于所有其他输入。我该如何改变这种行为？

我在这里找到了类似的问题（ https：//github.com/pytorch.com/pytorch/captum/captum/issues/issues/issues /439 ）。建议将可解释的嵌入用于分类数据。当我使用它时，我得到了一个错误：

indexError：尺寸超出范围（预计在[-1，0]范围内，但获得1）

我将非常感谢任何提示，并建议如何将所有三个输入组合并解决我的问题。