使用广泛重用的装饰器来分析系统

Question

我们的代码库有一些广泛使用的装饰器。

当我创建运行时配置文件时，调用图的很大一部分看起来像一个沙漏；许多函数调用一个函数（装饰器），然后该函数又调用许多函数。这是一个没有我想要的有用的配置文件。

有什么办法可以纠正这种情况吗？删除装饰器不是一个选择；它提供了必要的功能。

我们考虑过事后手动从 cProfile 数据中剥离装饰器，但这似乎不可能，因为数据被汇总为调用者->被调用者关系，这破坏了调用者->装饰器->被调用者关系。

Answer 1

使用类似 new 库（或 types in Python 2.6+），理论上你可以动态创建一个代码对象，然后基于该代码对象有一个内置名称，该名称随您使用的函数而变化包装。

这将允许您操作深达 .__code__.co_name （通常是只读的）的东西。

---

import functools
import types

def metadec(func):

    @functools.wraps(func)
    def wrapper(*args, **kwargs):   
        # do stuff
        return func(*args, **kwargs)

    c = wrapper.func_code
    fname = "%s__%s" % (func.__name__, wrapper.__name__)

    code = types.CodeType(
                c.co_argcount, 
                c.co_nlocals,
                c.co_stacksize,
                c.co_flags,  
                c.co_code,        
                c.co_consts,         
                c.co_names,
                c.co_varnames,
                c.co_filename,
                fname, # change the name
                c.co_firstlineno,
                c.co_lnotab,
                c.co_freevars,
                c.co_cellvars,
            )

    return types.FunctionType(
            code, # Use our updated code object
            wrapper.func_globals,
            fname, # Use the updated name
            wrapper.func_defaults,
            wrapper.func_closure,
        )

（这里仍然使用 functools.wraps ，以便允许传递文档字符串、模块名称等内容）

---

In [1]: from metadec import metadec

In [2]: @metadec
   ...: def foobar(x):
   ...:     print(x)
   ...:     
   ...:     

In [3]: foobar.__name__
Out[3]: 'foobar__wrapper'

In [4]: foobar(1)
1

Answer 2

我猜测并不是装饰器本身弄乱了你的分析，而是装饰器创建的包装函数。发生这种情况是因为所有包装函数都具有相同的名称。要解决这个问题，只需让装饰器更改包装函数的名称即可。

def decorator(func):

    def wrapper(*args):
        print "enter func", func.__name__
        return func(*args)

    wrapper.__name__ += "_" + func.__name__
    return wrapper

您还可以使用 functools.wraps() ，但是包装函数的名称将与其所包装的函数的名称相匹配。我想这对于分析来说应该没问题。

现在，函数的代码对象也有了一个名称。 Python 不在堆栈上存储对函数的引用，只存储对代码对象的引用，因此如果探查器从堆栈帧获取包装器函数的名称，它将获取该名称。以通常方式定义的包装器共享代码对象（即使函数对象不同），除非您为每个包装器函数显式重建代码对象和函数对象。这是相当多的工作，并且非常特定于 CPython（甚至可能特定于版本）。但您可以这样做：

from types import FunctionType, CodeType    

def decorator(func):

    def wrapper(*args):
        print "enter func", func.__name__
        return func(*args)

    name = wrapper.__name__ + "_" + func.__name__

    func_code = wrapper.func_code
    new_code  = CodeType(
            func_code.co_argcount, func_code.co_nlocals, func_code.co_stacksize,
            func_code.co_flags, func_code.co_code, func_code.co_consts,
            func_code.co_names, func_code.co_varnames, func_code.co_filename,
            name, func_code.co_firstlineno, func_code.co_lnotab,
            func_code.co_freevars, func_code.co_cellvars)
    wrapper   = FunctionType(
            new_code, wrapper.func_globals, name, wrapper.func_defaults,
            wrapper.func_closure)

    return wrapper

函数的名称和代码对象的名称都在此处设置为wrapper_originalfuncname，因此它们应该与探查器中的包装函数分开计数。您可以轻松地将它们设置为原始函数的名称，以便它们的运行时间将与原始函数的名称一起滚动。