用双线性插值在Pytorch中移动图像

Question

假设我有一个大小[H，W]的输入X，还有一个MU_X和MU_Y（可能是分数），代表X和y方向以移动的X和Y方向。 Pytorch中是否有任何有效的方法，而无需使用C ++将张量X移动使用双线性插值的MU_X和MU_Y单元。

更确切地说，假设我们有一个图像。 mu_x = 5且mu_y = 3，我们可能要移动图像，以使图像向右移动5像素和向下3像素，将像素从[H，W]的边界中删除，并在另一端引入了新像素的边界。边界为0。但是，使用分数MU_X和MU_Y，我们需要使用双线性插值来估计所得图像。

是否可以通过纯Pytorch Tensor操作来实施？还是我需要使用C ++。

Answer 1

我相信您可以通过在原始输入上应用网格采样并使用网格来指导采样过程来实现这一目标。如果您使用所得图像等于原始图像，则使用图像的坐标网格并进行示例。但是，您可以在此网格上进行轮班，因此可以使用给定的偏移进行采样。当然，网格采样可与浮点网格一起使用，这意味着您可以将任意的非反转移动应用于图像并选择采样模式（biinear是默认值）。

可以使用 f。 grid_sampling 。给定图像张量img，我们首先使用 torch.meshgrid 。请记住，采样器使用的网格必须标准化为[-1，-1]。因此，像素x = 0，y = 0应映射到（ - 1，-1），Pixel x = w，y = h = h映射到（1,1），中心像素最终将在（0,0）上左右。

使用两个 [0,1] - 正截面，然后重新映射到[ - 1,1]：

>>> c,h,w = img.shape
>>> x, y = torch.arange(h)/(h-1), torch.arange(w)/(w-1)
>>> grid = torch.dstack(torch.meshgrid(x, y))*2-1

因此，结果网格的形状为（C，H，W，W，W，W ）将是采样过程产生的输出图像的维度。

由于我们不使用批处理元素，因此我们需要在img和grid上解开Queize Singleton尺寸。然后，我们可以应用f.grid_sample：

>>> sampled = F.grid_sample(img[None], grid[None])

之后您可以应用任意mu_x，mu_y shift shift，甚至可以轻松地将其用于批处理图像和图像和转移。定义采样的方式是通过定义A 移动的网格 ：

>>> x_s, y_s = (torch.arange(h)+mu_y)/(h-1), (torch.arange(w)+mu_x)/(w-1)

其中mu_x和mu_y是像素（浮点）中的值（浮点），并希望图像在该图像上移动在水平和垂直轴。要获取采样图像，请在由x_s和y_s的网格上应用F.Grid_sampling：

>>> grid_shifted = torch.dstack(torch.meshgrid(x_s, y_s))*2-1
>>> sampled = F.grid_sample(img[None], grid_shifted[None])