分配给 Python 3.x 缓冲区，其中 itemsize > 1

Question

我试图通过 Python 3.x 缓冲区接口公开图像像素信息缓冲区（32 位 RGBA）。经过相当多的尝试后，我能够像这样工作：

int Image_get_buffer(PyObject* self, Py_buffer* view, int flags)
{
    int img_len;
    void* img_bytes;

    // Do my image fetch magic
    get_image_pixel_data(self, &img_bytes, &img_len);

    // Let python fill my buffer
    PyBuffer_FillInfo(view, self, img_bytes, img_len, 0, flags); 
}

在 python 中，我可以像这样使用它：

mv = memoryview(image)
print(mv[0]) # prints b'\x00'
mv[0] = b'\xFF' # set the first pixels red component to full
mx[0:4] = b'\xFF\xFF\xFF\xFF' # set the first pixel to white

效果非常好。然而，如果我可以使用完整的像素值（int，4字节）而不是单个字节，那就太好了，所以我修改了缓冲区获取，如下所示：

int Image_get_buffer(PyObject* self, Py_buffer* view, int flags)
{
    int img_len;
    void* img_bytes;

    // Do my image fetch magic
    get_image_pixel_data(self, &img_bytes, &img_len);

    // Fill my buffer manually (derived from the PyBuffer_FillInfo source)
    Py_INCREF(self);
    view->readonly = 0;
    view->obj = self;
    view->buf = img_bytes;
    view->itemsize = 4;
    view->ndim = 1;
    view->len = img_len;
    view->suboffsets = NULL;

    view->format = NULL;
    if ((flags & PyBUF_FORMAT) == PyBUF_FORMAT)
        view->format = "I";

    view->shape = NULL;
    if ((flags & PyBUF_ND) == PyBUF_ND)
    {
        Py_ssize_t shape[] = { (int)(img_len/4) };
        view->shape = shape;
    }

    view->strides = NULL;
    if((flags & PyBUF_STRIDED) == PyBUF_STRIDED)
    {
        Py_ssize_t strides[] = { 4 };
        view->strides = strides;
    }

    return 0;
}

这实际上返回了数据，我可以正确读取它，但任何尝试现在给它赋值失败了！

mv = memoryview(image)
print(mv[0]) # prints b'\x00\x00\x00\x00'
mv[0] = 0xFFFFFFFF # ERROR (1)
mv[0] = b'\xFF\xFF\xFF\xFF' # ERROR! (2)
mv[0] = mv[0] # ERROR?!? (3)

在情况 1 中，错误通知我 'int' 不支持缓冲区接口，这是一种耻辱，而且有点令人困惑（毕竟我确实指定了缓冲区格式是“I”），但是我可以处理这个问题。不过，在情况 2 和情况 3 中，事情变得非常奇怪：这两种情况都会给我一个 TypeError，读取“my.Image”和“bytes”的项目大小不匹配（其中 my.Image 显然是我的图像类型）

这对我来说非常令人困惑，因为我传入的数据显然与我从该元素中获取的数据大小相同。如果 itemsize 大于 1，缓冲区似乎就停止允许分配。当然，这个接口的文档非常稀疏，并且仔细阅读 python 代码并没有真正给出任何使用示例，所以我陷入了困境。我是否遗漏了一些文档片段，其中指出“当 itemsize > 1 时，缓冲区基本上变得无用”，我是否做了一些我看不到的错误，或者这是 Python 中的一个错误？ （针对 3.1.1 进行测试）

感谢您对这个（公认的高级）问题提供的任何见解！

Answer 1

我在函数 memory_ass_sub 的 python 代码（在对象中的 memoryobject.c 中）中找到了这一点：

/* XXX should we allow assignment of different item sizes
   as long as the byte length is the same?
   (e.g. assign 2 shorts to a 4-byte slice) */
if (srcview.itemsize != view->itemsize) {
    PyErr_Format(PyExc_TypeError,
        "mismatching item sizes for \"%.200s\" and \"%.200s\"", 
        view->obj->ob_type->tp_name, srcview.obj->ob_type->tp_name);
    goto _error;
}

这是后两个错误的根源。看起来即使 mv[0] 的 itemsize 仍然不等于它本身。

更新

这就是我认为正在发生的事情。当您尝试在 mv 中分配某些内容时，它会调用 Objects/memoryobject.c 中的 memory_ass_sub ，但该函数仅接受 PyObject 作为输入。然后使用 PyObject_GetBuffer 函数将该对象更改为内部缓冲区，即使在 mv[0] 的情况下它已经是一个缓冲区（并且是您想要的缓冲区！）。我的猜测是，这个函数获取对象并将其放入 itemsize=1 的简单缓冲区中，无论它是否已经是缓冲区。这就是为什么即使

mv[0] = mv[0]

第一次分配的问题，

mv[0] = 0xFFFFFFFF

也会得到不匹配的项目大小（我认为）源于检查 int 是否能够用作缓冲区，目前尚未设置缓冲区据我了解。

换句话说，缓冲系统当前无法处理大于 1 的项目大小。看起来并不遥远，但您需要做更多的工作。如果你确实让它工作了，你可能应该将更改提交回主要的 Python 发行版。

另一个更新

第一次尝试分配 mv[0] 时的错误代码源于调用 PyObject_CheckBuffer 时 int 失败。显然，系统只处理可缓冲对象的副本。这似乎也应该改变一下。

结论

目前，Python 缓冲系统无法处理 itemsize > 的项目。 1 正如你所猜测的。此外，它无法处理不可缓冲对象（例如整数）对缓冲区的分配。