在 Numpy C 扩展中返回可变长度数组？

Question

我之前在这个 site 的帮助下制作了一些 Numpy C 扩展，但到目前为止正如我所看到的，返回的参数都是固定长度的。

有没有办法让 Numpy C 扩展返回可变长度的 numpy 数组？

Answer 1

您可能会发现使用 Numpy C-API 在 Cython 中进行 numpy 扩展更容易，这简化了过程，因为它允许您混合 python 和 c 对象。在这种情况下，制作可变长度数组没有什么困难，您可以简单地指定具有任意形状的数组。

Cython numpy 教程 可能是有关此主题的最佳来源。

例如，这是我最近编写的一个函数：

import numpy as np
cimport numpy as np
cimport cython

dtype = np.double
ctypedef double dtype_t

np.import_ufunc()
np.import_array()

def ewma(a, d, axis):
    #Calculates the exponentially weighted moving average of array a along axis using the parameter d.
    cdef void *args[1]

    cdef double weight[1]
    weight[0] = <double>np.exp(-d)


    args[0] = &weight[0]

    return apply_along_axis(&ewma_func, np.array(a, dtype = float), np.double, np.double, False, &(args[0]), <int>axis)

cdef void ewma_func(int n, void* aData,int astride, void* oData, int ostride, void** args):
    #Exponentially weighted moving average calculation function 

    cdef double avg = 0.0
    cdef double weight = (<double*>(args[0]))[0]
    cdef int i = 0

    for i in range(n): 

        avg = (<double*>((<char*>aData) + i * astride))[0]*weight + avg * (1.0 - weight) 


        (<double*>((<char*>oData) + i * ostride))[0] = avg  

ctypedef void (*func_1d)(int, void*, int, void*, int, void **)

cdef apply_along_axis(func_1d function, a, adtype, odtype, reduce,  void** args, int axis):
    #generic function for applying a cython function along a particular dimension

    oshape = list(a.shape)

    if reduce :
        oshape[axis] = 1

    out = np.empty(oshape, odtype)

    cdef np.flatiter ita, ito

    ita = np.PyArray_IterAllButAxis(a,   &axis)
    ito = np.PyArray_IterAllButAxis(out, &axis)

    cdef int axis_length = a.shape[axis]
    cdef int a_axis_stride = a.strides[axis]
    cdef int o_axis_stride = out.strides[axis]

    if reduce: 
        o_axis_stride = 0

    while np.PyArray_ITER_NOTDONE(ita):

        function(axis_length, np.PyArray_ITER_DATA (ita), a_axis_stride, np.PyArray_ITER_DATA (ito), o_axis_stride, args)

        np.PyArray_ITER_NEXT(ita)
        np.PyArray_ITER_NEXT(ito)

    if reduce:  
        oshape.pop(axis)
        out.shape = oshape

    return out  

如果这不适合您，有一个函数可以创建任意形状的新空数组（链接）。

Answer 2

我将你的问题解释为“我有一个函数，它接受长度为 n 的 NumPy 数组，但它将返回与 n 不同的另一个长度为 m 的数组”。如果是这种情况，您将需要在扩展中 malloc 一个新的 C 数组，例如

new_array = malloc(m * sizeof(int64)); // or whatever your data type is

，然后用它创建一个新的 NumPy 数组。此示例假设一个一维数组：

int npy_intp dims[1];
dims[0] = m;
PyArrayObject *out = (PyArrayObject *)PyArray_SimpleNewFromData(1,          // 1D array
                                                                dims,       // dimensions
                                                                NPY_INT64,  // type
                                                                new_array);
PyArray_ENABLEFLAGS(out, NPY_ARRAY_OWNDATA);

然后返回新数组。这里重要的部分是设置 NPY_ARRAY_OWNDATA 标志，以便在 Python 对象被垃圾收集时释放您分配的内存。