减少Python中长for循环的时间

Question

我这边的另一个愚蠢问题；）我对下面的 len(x)=len(y)=7'700'000 代码片段有一些问题：

from numpy import *

for k in range(len(x)):
    if x[k] == xmax:
        xind = -1
    else:
        xind = int(floor((x[k]-xmin)/xdelta))
    if y[k] == ymax:
        yind = -1
    else:
        yind = int(floor((y[k]-ymin)/ydelta))

    arr = append(arr,grid[xind,yind])

所有变量都是浮点数或整数，除了 arr 和网格。 arr 是一个一维数组，grid 是一个二维数组。

我的问题是运行循环需要很长时间（几分钟）。谁能解释一下，为什么需要这么长时间？有人有建议吗？即使我尝试通过 arange() 交换 range() ，我也只节省了一秒钟。

谢谢。

第一次编辑 对不起。忘记告诉我正在导入 numpy

第二次编辑

我在 2D 网格中有一些点。网格的每个单元格都存储了一个值。我必须找出该点的位置并将该值应用于新数组。这就是我的问题和我的想法。

ps：如果想更好地理解的话请看图。单元格的值用不同的颜色表示。

Answer 1

怎么样：

import numpy as np
xind = np.floor((x-xmin)/xdelta).astype(int)
yind = np.floor((y-ymin)/ydelta).astype(int)

xind[np.argmax(x)] = -1
yind[np.argmax(y)] = -1

arr = grid[xind,yind]

注意：如果你使用 numpy，如果你想高效地做事，不要像 python 列表那样对待数组。

Answer 2

for x_item, y_item in zip(x, y):
    # do stuff.

如果您不想生成巨大的额外文件，还有 izip列表。

Answer 3

除了数据大小之外，我看不到明显的问题。您的计算机能够将所有内容保存在内存中吗？如果没有，您可能会在交换内存中“跳来跳去”，这总是很慢。如果内存中有完整的数据，请尝试一下 psyco。它可能会大大加快你的计算速度。

Answer 4

我怀疑问题可能出在您存储结果的方式上：

arr = append(arr,grid[xind,yind])

The docs for append 说它返回：

附加了值的arr副本
到轴。请注意 append 确实
没有就地发生：一个新数组是
分配并填充。

这意味着您将在每次迭代中释放和分配越来越大的数组。我建议预先分配一个正确大小的数组，然后在每次迭代中用数据填充它。例如：

arr = empty(len(x))

for k in range(len(x)):
    ...
    arr[k] = grid[xind,yind]

Answer 5

x的长度是700万？我想这就是原因！
迭代发生了 700 万次，

也许你应该做另一种循环。
真的有必要循环超过7m次吗？