使用numpy中的as_strided函数滑动窗口？

Question

当我使用 python 实现滑动窗口来检测静态图像中的对象时，我开始了解这个不错的功能：

numpy.lib.stride_tricks.as_strided

因此，我尝试实现一个通用规则，以避免在更改我需要的滑动窗口的大小时可能会失败的错误。最后我得到了这个表示：

all_windows = as_strided(x,((x.shape[0] - xsize)/xstep ,(x.shape[1] - ysize)/ystep ,xsize,ysize), (x.strides[0]*xstep,x.strides[1]*ystep,x.strides[0],x.strides[1])

这会产生一个 4 维矩阵。前两个表示图像 x 轴和 y 轴上的窗口数。其他表示窗口的大小 (xsize,ysize)

，step 表示两个连续窗口之间的位移。

如果我选择方形滑动窗口，这种表示法效果很好。但我仍然有一个问题，让它适用于 ex (128,64) 的窗口，我通常会得到与图像无关的数据。

我的代码有什么问题。有什么想法吗？是否有更好的方法可以在 python 中获得漂亮整洁的滑动窗口来进行图像处理？

谢谢

Answer 1

您的代码有问题。实际上，这段代码适用于 2D，没有理由使用多维版本（使用步幅实现高效的移动平均滤波器）。下面是一个固定版本：

A = np.arange(100).reshape((10, 10))
print A
all_windows = as_strided(A, ((A.shape[0] - xsize + 1) / xstep, (A.shape[1] - ysize + 1) / ystep, xsize, ysize),
      (A.strides[0] * xstep, A.strides[1] * ystep, A.strides[0], A.strides[1]))
print all_windows

Answer 2

查看此问题的答案：使用步幅实现高效的移动平均滤波器。基本上，跨步并不是一个好的选择，尽管它们确实有效。

Answer 3

对于后验性：

这是在 scikit-learn 的 sklearn.feature_extraction.image.extract_patches 函数中实现的。

Answer 4

我有一个类似的用例，我需要在一批多通道图像上创建滑动窗口，最终得到以下函数。 我写了一篇更深入的博客文章，介绍了有关手动创建卷积层的内容。该函数实现了滑动窗口，还包括对输入数组进行扩展或添加填充。

该函数将输入：

input - Size of (Batch, Channel, Height, Width)
output_size - 取决于使用情况，注释如下。
kernel_size - 您希望创建的滑动窗口的大小（方形）
padding - 添加到 (H,W) 尺寸外部的 0 填充量
stride - 滑动窗口应接管输入
dilate - 展开输入单元格的量。这会在元素之间添加 0 填充的行/列


通常，在执行前向卷积时，不需要执行扩张，因此可以使用以下公式找到输出大小（将 x 替换为输入维度）：

(x - kernel_size + 2 * padding) // stride + 1

当使用此函数执行卷积的向后传递时，请使用 stride 1 并将您的 output_size 设置为前向传递的 x-输入的大小

包含使用此函数的示例的示例代码可以是成立在此链接。

def getWindows(input, output_size, kernel_size, padding=0, stride=1, dilate=0):
    working_input = input
    working_pad = padding
    # dilate the input if necessary
    if dilate != 0:
        working_input = np.insert(working_input, range(1, input.shape[2]), 0, axis=2)
        working_input = np.insert(working_input, range(1, input.shape[3]), 0, axis=3)

    # pad the input if necessary
    if working_pad != 0:
        working_input = np.pad(working_input, pad_width=((0,), (0,), (working_pad,), (working_pad,)), mode='constant', constant_values=(0.,))

    in_b, in_c, out_h, out_w = output_size
    out_b, out_c, _, _ = input.shape
    batch_str, channel_str, kern_h_str, kern_w_str = working_input.strides

    return np.lib.stride_tricks.as_strided(
        working_input,
        (out_b, out_c, out_h, out_w, kernel_size, kernel_size),
        (batch_str, channel_str, stride * kern_h_str, stride * kern_w_str, kern_h_str, kern_w_str)
    )