如何仅需要pytorch张量中的某些张量元件？

Question

我喜欢使用只有几个可变元素的张量，这些元素在反向传播步骤中被考虑。例如：

self.conv1 = nn.Conv2d(3, 16, 3, 1, padding=1, bias=False)
mask = torch.zeros(self.conv1.weight.data.shape, requires_grad=False)
self.conv1.weight.data[0, 0, 0, 0] += mask[0, 0, 0, 0]
print(self.conv1.weight.data[0, 0 , 0, 0].requires_grad) 

它将输出 false

Answer 1

您只能在张量级别打开和关闭梯度计算，这意味着需要 不是 元素。您观察到的不同之处是因为您访问了requiees_grad conv1.weight.data的属性与其包装张量conv1.ewert ！

请注意差异：

>>> conv1 = nn.Conv2d(3, 16, 3) # requires_grad=True by default

>>> conv1.weight.requires_grad
True

>>> conv1.weight.data.requires_grad
False

conv1.关键是重量张量，而conv1.weight.data是基础数据张量，它永远不需要梯度，因为它处于不同的水平。

---

现在，如何求解 部分需要在张量上进行梯度计算 。您可以将其视为“仅需要张量的某些元素” ，而是可以将其视为“不需要梯度梯度” 。您可以通过在向后的位置覆盖张量的梯度值来做到这一点：

>>> conv1 = nn.Conv2d(3, 1, 2)
>>> mask = torch.ones_like(conv1.weight)

例如，为了防止卷积层的第一个组件的更新：

>>> mask[0,0,0,0] = 0 

向后传递后，您可以在conv1.关键：

>>> conv1(torch.rand(1,3,10,10)).mean().backward()
>>> conv1.weight.grad *= mask