分析 Python 生成器

发布于 2024-09-16 14:49:23 字数 557 浏览 2 评论 0原文

我正在改编一个应用程序，该应用程序大量使用生成器来生成结果以提供 web.py Web 界面。

到目前为止，我可以将对 for 循环的调用和生成输出的语句包装在一个函数中，并使用 cProfile.run() 或 runctx() 进行调用。从概念上讲：

def output():
    for value in generator():
        print(value)

cProfile.run('output()')

在 web.py 中，我必须按以下方式包装它，因为我想使用 yield 在每个迭代步骤中立即生成可能长时间运行的计算的输出：

class index:
    def GET(self):
        for value in generator():
            yield make_pretty_html(value)

有没有一种方法可以分析当它像第二个例子一样使用时，对生成器的所有调用都像第一个例子一样吗？

原文

I'm adapting an application that makes heavy use of generators to produce its results to provide a web.py web interface.

So far, I could wrap the call to the for-loop and the output-producing statements in a function and call that using cProfile.run() or runctx(). Conceptually:

def output():
    for value in generator():
        print(value)

cProfile.run('output()')

In web.py, I have to wrap it the following way, since I want to immediately produce output from the potentially long-running computation in each iteration step using yield:

class index:
    def GET(self):
        for value in generator():
            yield make_pretty_html(value)

Is there a way to profile all calls to the generator like in the first example when it's used like in the second one?

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

笨笨の傻瓜 2024-09-23 14:49:23

我终于找到了解决办法。通过此处返回分析的值。

import cProfile
import pstats
import glob
import math

def gen():
    for i in range(1, 10):
        yield math.factorial(i)

class index(object):
    def GET(self):
        p = cProfile.Profile()

        it = gen()
        while True:
            try:
                nxt = p.runcall(next, it)
            except StopIteration:
                break
            print nxt

        p.print_stats()

index().GET()

我还可以通过文档并将它们组合起来存储/分析。

I finally found a solution. Return value of profiling via here.

import cProfile
import pstats
import glob
import math

def gen():
    for i in range(1, 10):
        yield math.factorial(i)

class index(object):
    def GET(self):
        p = cProfile.Profile()

        it = gen()
        while True:
            try:
                nxt = p.runcall(next, it)
            except StopIteration:
                break
            print nxt

        p.print_stats()

index().GET()

I also could merge multiple such profiling results (once I start giving unique file names) via documentation and store/analyze them combined.

回复收藏 0 原文

平安喜乐 2024-09-23 14:49:23

听起来您正在尝试分析生成器上对“下一个”的每次调用？如果是这样，您可以将生成器包装在分析生成器中。像这样，注释掉的部分将把结果发送到日志或数据库。

def iter_profiler(itr):
  itr = iter(itr)
  while True:
    try:
      start = time.time()
      value = itr.next()
      end = time.time()
    except StopIteration:
      break
    # do something with (end - stop) times here
    yield value

然后，您可以使用 iter_profiler(generator())，而不是将生成器实例化为 generator()

It sounds like you're trying to profile each call to 'next' on the generator? If so, you could wrap your generator in a profiling generator. Something like this, where the commented off part will be sending the results to a log or database.

def iter_profiler(itr):
  itr = iter(itr)
  while True:
    try:
      start = time.time()
      value = itr.next()
      end = time.time()
    except StopIteration:
      break
    # do something with (end - stop) times here
    yield value

Then instead of instantiating your generator as generator() you would use iter_profiler(generator())

回复收藏 0 原文