发电机功能性能

Question

我试图了解生成器函数的性能。我使用 cProfile 和 pstats 模块来收集和检查分析数据。有问题的函数是这样的：

def __iter__(self):
    delimiter  = None
    inData     = self.inData
    lenData    = len(inData)
    cursor     = 0
    while cursor < lenData:
        if delimiter:
            mo = self.stringEnd[delimiter].search(inData[cursor:])
        else:
            mo = self.patt.match(inData[cursor:])
        if mo:
            mo_lastgroup = mo.lastgroup
            mstart       = cursor
            mend         = mo.end()
            cursor       += mend
            delimiter = (yield (mo_lastgroup, mo.group(mo_lastgroup), mstart, mend))
        else:
            raise SyntaxError("Unable to tokenize text starting with: \"%s\"" % inData[cursor:cursor+200])

self.inData是一个unicode文本字符串，self.stringEnd是一个带有4个简单正则表达式的字典，self.patt是一个大正则表达式。整个过程就是将大字符串一一拆分成较小的字符串。

对使用它的程序进行性能分析，我发现程序运行时间的最大部分花费在这个函数上：

In [800]: st.print_stats("Scanner.py:124")

         463263 function calls (448688 primitive calls) in 13.091 CPU seconds

   Ordered by: cumulative time
   List reduced from 231 to 1 due to restriction <'Scanner.py:124'>

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
    10835   11.465    0.001   11.534    0.001 Scanner.py:124(__iter__)

但是查看函数本身的性能分析，在函数的子调用上花费的时间并不多：

In [799]: st.print_callees("Scanner.py:124")
   Ordered by: cumulative time
   List reduced from 231 to 1 due to restriction <'Scanner.py:124'>

Function                  called...
                              ncalls  tottime  cumtime
Scanner.py:124(__iter__)  ->   10834    0.006    0.006  {built-in method end}
                               10834    0.009    0.009  {built-in method group}
                                8028    0.030    0.030  {built-in method match}
                                2806    0.025    0.025  {built-in method search}
                                   1    0.000    0.000  {len}

其余的除了while、赋值和if-else之外，功能并不多。即使我使用的生成器上的 send 方法也很快：

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
13643/10835    0.007    0.000   11.552    0.001 {method 'send' of 'generator' objects}

是否有可能将值传递回消费者的 yield 占用了大部分时间？ ！还有什么我不知道的吗？

编辑：

我可能应该提到生成器函数__iter__是一个小类的方法，因此self指的是此类的实例。

Answer 1

这实际上是 Dunes 的答案，不幸的是，他只是将其作为评论给出，并且似乎并不倾向于将其放在正确的答案。

性能的主要罪魁祸首是字符串切片。一些计时测量表明，大切片（意味着从已经很大的字符串中取出大切片）的切片性能明显下降。为了解决这个问题，我现在使用正则表达式对象方法的 pos 参数：

    if delimiter:
        mo = self.stringEnd[delimiter].search(inData, pos=cursor)
    else:
        mo = self.patt.match(inData, pos=cursor)

感谢 所有提供帮助的人。

Answer 2

如果正确读取示例，则您将获取一个生成器对象，将其放入 delimiter 中，并将其用于数组查找。这可能不是你的速度问题，但我很确定这是一个错误。