两个具有相同架构的模型，但一个具有算术错误

Question

我正在尝试将NNCLR的RESNET18主链加载到线性分类器上。问题在于我得到了一个矩阵乘法错误。在下面的代码中，模型是指整个NNCLR模型。这大部分基于轻度文档。

pt_backbone = model.backbone

state_dict = {'resnet18_parameters': pt_backbone.state_dict()}
torch.save(state_dict, 'test_nnclr.h5')

resnet18_new = torchvision.models.resnet18()

backbone_new = nn.Sequential(*list(resnet18_new.children())[:-1])

ckpt = torch.load('test_nnclr.h5')
backbone_new.load_state_dict(ckpt['resnet18_parameters'])
backbone_new.add_module('fc', nn.Linear(512, 2, device=cuda0))
backbone_new(torch.tensor(np.random.uniform(-10, 10, (8, 3, 128, 128)), device=cuda0).float())

我收到以下运行时错误：

---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
<ipython-input-51-ac885f772507> in <module>()
      1 backbone_new.add_module('fc', nn.Linear(512, 2, device=cuda0))
----> 2 backbone_new(torch.tensor(np.random.uniform(-10, 10, (8, 3, 128, 128)), device=cuda0).float())

4 frames
/usr/local/lib/python3.7/dist-packages/torch/nn/functional.py in linear(input, weight, bias)
   1846     if has_torch_function_variadic(input, weight, bias):
   1847         return handle_torch_function(linear, (input, weight, bias), input, weight, bias=bias)
-> 1848     return torch._C._nn.linear(input, weight, bias)
   1849 
   1850 

RuntimeError: mat1 and mat2 shapes cannot be multiplied (4096x1 and 512x2)

我知道4096来自512 x 8，其中8是批处理大小，512是线性层之前的最后一个维度输出。但是我很困惑，因为我看不到如何在新线性层中考虑到这样的批处理大小。由于以下结果，我特别感到困惑：

resnet18_new(torch.tensor(np.random.uniform(-10, 10, (8, 3, 128, 128)), device=cuda0).float()).shape

它似乎可以完美地工作，从而在torch中。但是这两个模型具有相同的体系结构，因此我不明白一个模型有错误，而另一个则没有。这两个模型之间的区别在于Backbone_new（实际上不是骨干BTW）具有不同的权重。如何解决此错误？

Answer 1

考虑代码<代码>类Resnet 的代码>。它调用self.relu或self.layer2之类的属性，但在完全连接之前，它呼叫torch.flatten（x，1） 。要了解为什么重要的是要查看针对resnet18_new的前方生成的代码：

from torch.fx import symbolic_trace

symbolic_traced = symbolic_trace(resnet18_test)

print(symbolic_traced.code)

stdout中的最后几行类似于：

avgpool = self.avgpool(layer4_1_relu_1);  layer4_1_relu_1 = None
flatten = torch.flatten(avgpool, 1);  avgpool = None
fc = self.fc(flatten);  flatten = None
return fc

但是backbone_new的类似过程返回不同的结果，之后：

symbolic_traced_new = symbolic_trace(backbone_new)

print(symbolic_traced_new.code)

stdout中的最后一行看起来像（请记住它是生成的，所以它不是很漂亮）：

_8 = getattr(self, "8")(_7_1_relu_1);  _7_1_relu_1 = None
fc = self.fc(_8);  _8 = None
return fc

where getAttr（self，“ 8”） 对应于adaptiveavgpool2d（output_size =（1，1，1））。当然会崩溃 - 扁平被扔掉了！这一切都是因为用法torch.flatten在原始resnet._forward_impl中。因此，要修复，在添加新模块时，请将其放在nn.flatten上（行为类似于torch.flatten（x，1））：

backbone_new = nn.Sequential(*list(resnet18_new.children())[:-1])
ckpt = torch.load('test_nnclr.h5')
backbone_new.load_state_dict(ckpt['resnet18_parameters'])
backbone_new.add_module('fc', nn.Sequential(nn.Flatten(1), nn.Linear(512, 2, device='cuda:0')))