提高 Numpy 性能

Question

我想使用 python 来提高卷积的性能，并希望获得一些关于如何最好地提高性能的见解。

我目前正在使用 scipy 来执行卷积，使用的代码有点像下面的代码片段：

import numpy
import scipy
import scipy.signal
import timeit

a=numpy.array ( [ range(1000000) ] )
a.reshape(1000,1000)
filt=numpy.array( [ [ 1, 1, 1 ], [1, -8, 1], [1,1,1] ] )

def convolve():
  global a, filt
  scipy.signal.convolve2d ( a, filt, mode="same" )

t=timeit.Timer("convolve()", "from __main__ import convolve")
print "%.2f sec/pass" % (10 * t.timeit(number=10)/100)

我正在处理图像数据，使用灰度（0 到 255 之间的整数值），目前每个卷积大约需要四分之一秒。我的想法是执行以下操作之一：

使用 corepy，最好进行一些优化 使用 icc & 重新编译 numpy ikml。 使用 python-cuda。

我想知道是否有人对这些方法有任何经验（典型的增益是什么，是否值得花时间），或者是否有人知道有更好的库来使用 Numpy 执行卷积。

谢谢！

编辑：

通过使用 Numpy 用 C 语言重写 python 循环，速度提高了约 10 倍。

Answer 1

scipy 中用于进行 2d 卷积的代码有点混乱且未优化。请参阅http://svn.scipy.org/svn/scipy/ trunk/scipy/signal/firfilter.c 如果您想了解 scipy 的底层功能。

如果您想要的只是使用像您展示的那样的小而恒定的内核进行处理，那么这样的函数可能会起作用：

def specialconvolve(a):
    # sorry, you must pad the input yourself
    rowconvol = a[1:-1,:] + a[:-2,:] + a[2:,:]
    colconvol = rowconvol[:,1:-1] + rowconvol[:,:-2] + rowconvol[:,2:] - 9*a[1:-1,1:-1]
    return colconvol

该函数利用了上面建议的 DarenW 内核的可分离性，以及利用了更优化的内核numpy 算术例程。根据我的测量，它比 convolve2d 函数快 1000 倍以上。

Answer 2

对于特定的示例 3x3 内核，我观察到

1  1  1
1 -8  1
1  1  1

  1  1  1     0  0  0
= 1  1  1  +  0 -9  0
  1  1  1     0  0  0

其中第一个是可分解的 - 它可以通过对每行进行卷积 (1 1 1) 进行卷积，然后对每列再次进行卷积。然后减去原始数据的九倍。这可能会更快，也可能不会更快，具体取决于 scipy 程序员是否足够聪明来自动执行此操作。 （我有一段时间没有检查了。）

您可能想要进行更有趣的卷积，其中分解可能或可能不可能。

Answer 3

在谈论 C 和 ctypes 之前，我建议在 C 中运行一个独立的卷积，看看极限在哪里。
同样，对于 CUDA、cython、scipy.weave ...

添加了 7 月 7 日：带裁剪的 convolve33 8 位数据每点大约需要 20 个时钟周期，
每次内存访问需要 2 个时钟周期，在我的 mac g4 pcc 和 gcc 4.2 上。您的里程将会有所不同。

一些微妙之处：

• 您关心正确裁剪到 0..255 吗？ np.clip() 很慢，
  cython等不知道。
• Numpy/scipy 可能需要 A 大小的临时内存（因此保持 2*sizeof(A) < 缓存大小）。
  但是，如果您的 C 代码就地执行运行更新，则内存的大小只有一半，但算法不同。

顺便说一句，谷歌 theano convolve =>
“一个应该模仿 scipy.signal.convolve2d 的卷积运算，但速度更快！正在开发中”

Answer 4

卷积的典型优化是使用信号的 FFT。原因是：实空间中的卷积是FFT空间中的乘积。计算 FFT、然后计算乘积以及结果的 iFFT 通常比通常的卷积方式更快。

Answer 5

截至 2018 年，SciPy/Numpy 组合似乎已经加快了很多。这是我在笔记本电脑（戴尔 Inspiron 13、i5）上看到的情况。
OpenCV 做得最好，但你无法控制模式。

>>> img= np.random.rand(1000,1000)
>>> kernel = np.ones((3,3), dtype=np.float)/9.0
>>> t1= time.time();dst1 = cv2.filter2D(img,-1,kernel);print(time.time()-t1)
0.0235188007355
>>> t1= time.time();dst2 = signal.correlate(img,kernel,mode='valid',method='fft');print(time.time()-t1)
0.140458106995
>>> t1= time.time();dst3 = signal.convolve2d(img,kernel,mode='valid');print(time.time()-t1)
0.0548939704895
>>> t1= time.time();dst4 = signal.correlate2d(img,kernel,mode='valid');print(time.time()-t1)
0.0518119335175
>>> t1= time.time();dst5 = signal.fftconvolve(img,kernel,mode='valid');print(time.time()-t1)
0.13204407692