尝试使用 matplotlib 绘制大型数组时出现内存错误

Question

我想绘制一个包含 2000 万个对象的数组，我有 8GB RAM，但当我运行以下行时仍然出现以下错误：

import matplotlib.pyplot as plt
import numpy as np

d = np.arange(200000000)
plt.plot(d)
plt.show()

错误：

Traceback (most recent call last):
...
  File "C:\Python27\lib\site-packages\matplotlib\axes.py", line 317, in _grab_next_args
    for seg in self._plot_args(remaining, kwargs):
  File "C:\Python27\lib\site-packages\matplotlib\axes.py", line 292, in _plot_args
    x = np.arange(y.shape[0], dtype=float)
MemoryError

Answer 1

由于显示器和绘图仪的物理限制，无论如何您都无法绘制 20,000,000 个点。因此，您可以通过采样或使用切片的方式来减少数组：

>>> m = 20000000
>>> a = np.arange(m)
>>> n = 100 # <- reducing to 100 points
>>> s = m/n # <- size of slices to compress
>>> reduced = []
>>> for i in xrange(n):
...     slice = a[i*s:(i+1)*s]
...     reduced.append(np.mean(slice))
>>> reduced
[99999.5, 299999.5, ..., 19699999.5, 19899999.5]

.. 假设 np.mean 对您正在绘制的对象有意义。

Answer 2

MemoryError 没有说谎——您的内存分配失败了。考虑到您试图绘制 2 亿个点（请注意，您发布的数字是 2 亿，而不是 2000 万），这并不是那么不合理。

绘制数百万个点很少或根本没有意义。当我拥有大型数据集时，我会对数据进行预处理，以便绘制不超过数千个点。对于像您这样的数据，一个简单的常规样本就可以了，但对于其他数据的良好描述可能需要峰值查找。