将 cProfile 结果与 KCacheGrind 结合使用

Question

我正在使用 cProfile 来分析我的 Python 程序。根据这篇演讲，我的印象是 KCacheGrind 可以解析并显示 cProfile 的输出。

但是，当我导入文件时，KCacheGrind 仅在状态栏中显示“未知文件格式”错误，并且坐在那里不显示任何内容。

在我的分析统计数据与 KCacheGrind 兼容之前，我需要做一些特殊的事情吗？

...
if profile:
    import cProfile

    profileFileName = 'Profiles/pythonray_' + time.strftime('%Y%m%d_%H%M%S') + '.profile'

    profile = cProfile.Profile()
    profile.run('pilImage = camera.render(scene, samplePattern)')

    profile.dump_stats(profileFileName)
    profile.print_stats()
else:            
    pilImage = camera.render(scene, samplePattern)
...

软件包版本

• KCacheGrind 4.3.1
• Python 2.6.2

Answer 1

使用 cProfile，您还可以分析现有程序，而无需制作任何单独的分析脚本。只需使用分析器运行程序

python -m cProfile -o profile_data.pyprof script_to_profile.py

，并使用 pyprof2calltree 在 kcachegrind 中打开配置文件数据，其 -k 开关

pyprof2calltree -i profile_data.pyprof -k

会自动在 kcachegrind 中打开数据。例如，对整个 Paster 服务器和 Web 应用程序进行分析，就像

python -m cProfile -o pyprof.out `which paster` serve development.ini

可以使用 easy_install 安装 pyprof2calltree 一样。

Answer 2

您可以使用 profilestats.profile 装饰器 ($ pip install profilestats) -- pyprof2calltree 模块的简单包装器（的品牌重塑） lsprofcalltree.py)：

from profilestats import profile

@profile
def func():
    # do something here

脚本可以照常运行。 profilestats 创建两个文件：cachegrind.out.profilestats 和 profilestats.prof，分别采用 KCachegrind 兼容和 cProfile 格式。

Answer 3

可以使用名为 lscallproftree 的外部模块来完成此操作。

本文介绍了如何操作：CherryPy - CacheGrind

我的结果代码如下所示：

...
if profile:
    import cProfile
    import lsprofcalltree

    profileFileName = 'Profiles/pythonray_' + time.strftime('%Y%m%d_%H%M%S') + '.profile'

    profile = cProfile.Profile()
    profile.run('pilImage = camera.render(scene, samplePattern)')

    kProfile = lsprofcalltree.KCacheGrind(profile)

    kFile = open (profileFileName, 'w+')
    kProfile.output(kFile)
    kFile.close()

    profile.print_stats()    
else:            
    pilImage = camera.render(scene, samplePattern)
...

如果有人知道一种不需要的方法来做到这一点一个外部（即不随 Python 一起提供）模块，我仍然很有兴趣了解它。

Answer 4

在 KCachegrind/Qcachegrind 中分析代码和可视化结果的 3 种不同方法：

I - CPROFILE

1 - 从 ipython 分析 myfunc()

import cProfile
filename = 'filename.prof'
cProfile.run('myfunc()', filename)

2 - 将文件转换为 shell 中可用的 kcachegrind 文件

sudo pip install pyprof2calltree
pyprof2calltree -i filename.prof -o callgrind.filename.prof

中打开 callgrind.filename.prof

3 - 在 kcachegrind II - 嵌入式 CPROFILE

1 - 配置代码中的几行。

import cProfile
filename = 'filename.prof'
pr = cProfile.Profile()
pr.enable()
# ... lines to profile ...
pr.disable()
pr.dump_stats(filename)

2 - 在 shell 中将文件转换为可用的 kcachegrind 文件

sudo pip install pyprof2calltree
pyprof2calltree -i filename.prof -o callgrind.filename.prof

3 - 在 kcachegrind 中打开 callgrind.filename.prof

III - YAPPI

1 - 从 ipython 或代码中配置 myfunc()

import yappi
filename = 'callgrind.filename.prof'
yappi.set_clock_type('cpu')
yappi.start(builtins=True)
myfunc()
stats = yappi.get_func_stats()
stats.save(filename, type='callgrind')

2 - 在 kcachegrind 中打开 callgrind.filename.prof

Answer 5

如果您实际上想做的是查看代码的哪些部分可以优化速度，并且可以在调试器中随机暂停它，此方法有效。这可能会令人惊讶，但您不需要太多堆栈截图。