使 pyplot 比 gnuplot 更快

Question

我最近决定尝试一下 matplotlib.pyplot，同时我已经使用 gnuplot 进行科学数据绘图多年。我首先简单地读取数据文件并绘制两列，就像 gnuplot 使用 plot 'datafile' u 1:2 所做的那样。 我舒适的要求是：

• 跳过以 # 开头的行并跳过空行。
• 允许实际数字之间和之前的任意数量的空格
• 允许任意数量的列
• 速度快

现在，以下代码是我解决该问题的方法。然而，与 gnuplot 相比，它确实没有那么快。这有点奇怪，因为我读到 py(plot/thon) 相对于 gnuplot 的一大优势是它的速度。

import numpy as np
import matplotlib.pyplot as plt
import sys

datafile = sys.argv[1]
data = []
for line in open(datafile,'r'):
    if line and line[0] != '#':
        cols = filter(lambda x: x!='',line.split(' '))
        for index,col in enumerate(cols):
            if len(data) <= index:
                data.append([])
            data[index].append(float(col))

plt.plot(data[0],data[1])
plt.show()

我该怎么做才能使数据读取更快？我快速浏览了 csv 模块，但它对于文件中的注释似乎不太灵活，并且仍然需要迭代文件中的所有行。

Answer 1

由于您已经安装了 matplotlib，因此还必须安装 numpy。 numpy.genfromtxt 满足您的所有要求并且应该比在 Python 循环中自己解析文件快得多：

import numpy as np
import matplotlib.pyplot as plt

import textwrap
fname='/tmp/tmp.dat'
with open(fname,'w') as f:
    f.write(textwrap.dedent('''\
        id col1 col2 col3
        2010 1 2 3 4
        # Foo

        2011 5 6 7 8
        # Bar        
        # Baz
        2012 8 7 6 5
        '''))

data = np.genfromtxt(fname, 
                     comments='#',    # skip comment lines
                     dtype = None,    # guess dtype of each column
                     names=True)      # use first line as column names
print(data)
plt.plot(data['id'],data['col2'])
plt.show()

Answer 2

您确实需要分析您的代码以找出瓶颈所在。

以下是一些微观优化：

import numpy as np
import matplotlib.pyplot as plt
import sys

datafile = sys.argv[1]
data = []
# use with to auto-close the file
for line in open(datafile,'r'):
    # line will never be False because it will always have at least a newline
    # maybe you mean line.rstrip()?
    # you can also try line.startswith('#') instead of line[0] != '#'
    if line and line[0] != '#':
        # not sure of the point of this
        # just line.split() will allow any number of spaces
        # if you do need it, use a list comprehension
        # cols = [col for col in line.split(' ') if col]
        # filter on a user-defined function is slow
        cols = filter(lambda x: x!='',line.split(' '))

        for index,col in enumerate(cols):
            # just made data a collections.defaultdict
            # initialized as data = defaultdict(list)
            # and you can skip this 'if' statement entirely
            if len(data) <= index:
                data.append([])
            data[index].append(float(col))

plt.plot(data[0],data[1])
plt.show()

您也许可以执行以下操作：

with open(datafile) as f:
    lines = (line.split() for line in f 
                 if line.rstrip() and not line.startswith('#'))
    data = zip(*[float(col) for col in line for line in lines])

这将为您提供一个由 tuple 组成的 list，而不是 int -keyed list 的 dict，但在其他方面看起来相同。它可以作为一行完成，但我将其分开以使其更易于阅读。