在 Cython 中访问 NumPy 记录数组列

Question

我是一位相对经验丰富的 Python 程序员，但很长一段时间没有编写任何 C 语言，并且正在尝试理解 Cython。我正在尝试编写一个 Cython 函数，该函数将在 NumPy 记录的列上进行操作。

到目前为止我的代码如下。

recarray_func.pyx：

import numpy as np
cimport numpy as np

cdef packed struct rec_cell0:
  np.float32_t f0
  np.int64_t i0, i1, i2

def sum(np.ndarray[rec_cell0, ndim=1] recarray):
    cdef Py_ssize_t i
    cdef rec_cell0 *cell
    cdef np.float32_t running_sum = 0

    for i in range(recarray.shape[0]):
        cell = &recarray[i]
        running_sum += cell.f0
    return running_sum

在解释器提示符下：

array = np.recarray((100, ), names=['f0', 'i0', 'i1', 'i2'],
                             formats=['f4', 'i8', 'i8', 'i8'])
recarray_func.sum(array)

这只是对 rearray 的 f0 列求和。它编译并运行没有问题。

我的问题是，如何修改它以便它可以在任何列上运行？在上面的示例中，要求和的列是硬编码的，并通过点表示法访问。是否可以更改函数，以便将要求和的列作为参数传入？

Answer 1

我相信使用 Cython 的 memoryviews 应该可以实现这一点。按照这些思路应该可以工作（代码未测试）：

import numpy as np
cimport numpy as np

cdef packed struct rec_cell0:
  np.float32_t f0
  np.int64_t i0, i1, i2

def sum(rec_cell0[:] recview):
    cdef Py_ssize_t i
    cdef np.float32_t running_sum = 0

    for i in range(recview.shape[0]):
        running_sum += recview[i].f0
    return running_sum

通过确保传递给 Cython 的记录数组是连续的，可以提高速度。在Python（调用）端，您可以使用np.require，而函数签名应更改为rec_cell0[::1] recview以指示该数组可以是假设是连续的。与往常一样，一旦代码经过测试，请关闭 boundscheck、wraparound 和 nonecheck 编译器指令 可能会进一步提高速度。

Answer 2

你想要的需要弱类型，而 C 没有。如果您的所有记录类型都相同，您可能能够完成类似的操作：（免责声明，我在这台机器上没有 Cython，所以我是盲码）。

import numpy as np
cimport numpy as np

cdef packed struct rec_cell0:
  np.float32_t f0
  np.int64_t i0, i1, i2

def sum(np.ndarray[rec_cell0, ndim=1] recarray, colname):
    cdef Py_ssize_t i
    cdef rec_cell0 *cell
    cdef np.float32_t running_sum = 0

    loc = recarray.dtype.fields[colname][1]

    for i in range(recarray.shape[0]):
        cell = &recarray[i]
        running_sum += *(int *)(&cell+loc);
    return running_sum