为什么这个 numpy 数组操作这么慢？

Question

我是一个 python 初学者，我正在尝试对形状为 (1024,1024) 的两个 NumPy 2D 数组进行平均。这样做非常快：

newImage = (image1 + image2) / 2

但是现在图像有一个“掩码”，如果设置为零，则某些元素会失效。这意味着如果其中一个元素为零，则结果元素也应该为零。我的简单解决方案是：

newImage = numpy.zeros( (1024,1024) , dtype=numpy.int16 )

for y in xrange(newImage.shape[0]):
   for x in xrange(newImage.shape[1]):
      val1 = image1[y][x]  
      val2 = image2[y][x]                            
      if val1!=0 and val2!=0:               
         newImage[y][x] = (val1 + val2) / 2

但这真的很慢。我没有计时，但它似乎慢了 100 倍。

我还尝试使用 lambda 运算符和“map”，但这不会返回 NumPy 数组。

Answer 1

试试这个：

newImage = numpy.where(np.logical_and(image1, image2), (image1 + image2) / 2, 0)

如果 image1 和 image2 都不为零，则取其平均值，否则为零。

Answer 2

使用本机 Python 代码循环通常比使用循环慢得多
使用快速 C 循环的内置工具。我对 NumPy 不熟悉；能
您使用 map() 将两个输入数组转换为
输出？如果是这样的话，应该会更快。

Answer 3

一般来说，显式 for 循环在 Python 中效率非常低，不仅对于 numpy 操作而言。幸运的是，有更快的方法来解决我们的问题。如果内存不是问题，这个解决方案非常好：

import numpy as np
new_image = np.zeros((1024, 1024), dtype=np.int16)
valid = (image1!=0) & (image2!=0)
new_image[valid] = (image1+image2)[valid]

另一种使用屏蔽数组的解决方案，它不会创建数组的副本（它们代表原始image1/2的视图：

m1 = np.ma.masked_equal(image1, 0)
m2 = np.ma.masked_equal(image2, 0)
new_image = (m1+m2).filled(0)

更新：对于具有大约 1000 个非零条目的数组，第一个解决方案似乎比第二个解决方案快 3 倍。

Answer 4

numpy 数组访问操作充其量看起来很慢。我看不出有什么理由。通过构造一个简单的例子就可以清楚地看到：

    import numpy
    # numpy version
    def at(s,n):
      t1=time.time()
      a=numpy.zeros(s,dtype=numpy.int32)
      for i in range(n):
        a[i%s]=n
      t2=time.time()
      return t2-t1
    # native version
    def an(s,n):
      t1=time.time()
      a=[(i) for i in range(s)]
      for i in range(n):
        a[i%s]=n
      t2=time.time()
      return t2-t1

    # test
    [at(100000,1000000),an(100000,1000000)]

结果：[0.21972250938415527, 0.15950298309326172]