Python：将所有函数包装在一个库中

Question

我们使用另一个内部团队提供的库。 （摇摇欲坠的类比现在开始）

from externalTeam import dataCreator
datacreator.createPizza()
datacreator.createBurger()
datacreator.createHotDog()

最近我们发现他们的一个方法在某些情况下执行需要一分钟多的时间。为了调试这个问题，我必须进入我们的代码并在每次调用此方法时添加超时。

import time
from externalTeam import dataCreator
start = time.clock()
datacreator.createPizza()
stop = time.clock()
print "It took %s seconds to perform createPizza" % (str(stop-start))

事后看来，这是因为我们到处调用 createPizza，而我们不控制 createPizza 本身（这里的类比开始有点不成立）。我宁愿只在一个地方调用 createPizza ，并能够在其周围添加一个计时器。我的第一个想法是在我自己的包装类中创建一个包装所有方法的方法。但这与 DRY 相反，每当他们添加另一个方法时，我都必须更新我们的库来包装它：

import time
from externalTeam import dataCreator
def createPizza(self):
    start = time.clock()
    datacreator.createPizza()
    stop = time.clock()
    print "It took %s seconds to perform createPizza" % (str(stop-start))

def createBurger(self):
    start = time.clock()
    datacreator.createPizza()
    stop = time.clock()
    print "It took %s seconds to perform createBurger" % (str(stop-start))

def createHotDog(self):
    start = time.clock()
    datacreator.createPizza()
    stop = time.clock()
    print "It took %s seconds to perform createHotDog" % (str(stop-start))    

我想要的是一种始终在从 dataCreator 调用的每个函数周围执行几行代码的方法。必须有某种方法可以通过中间类来做到这一点，该中间类的方法可以动态定义 - 或者更确切地说未定义，对吗？

Answer 1

我将创建一个 dataCreator 适配器类，其工作方式如下：

1. 有一个 methods2wrap 列表，其中包含来自 dataCreator 的方法，这些方法需要包装到调试/计时功能。
2. 有一个重写的 __getattribute__() ，它将 1:1 映射到 dataCreator 方法，将 methods2wrap 中的方法包装到定时调试消息中。

概念验证代码（该示例包装类 list 并在其方法 append 周围插入调试时间戳）。

import time

class wrapper(list):

    def __getattribute__(self, name):
        TO_OVERRIDE = ['append']
        if name in TO_OVERRIDE:
            start = time.clock()
        ret = super(list, self).__getattribute__(name)
        if name in TO_OVERRIDE:
            stop = time.clock()
            print "It took %s seconds to perform %s" % (str(stop-start), name)
        return ret

profiled_list = wrapper('abc')
print profiled_list
profiled_list.append('d')
print profiled_list
profiled_list.pop()
print profiled_list

当然，您可以在此示例的基础上进行构建并使其参数化，以便在初始化时您可以设置要包装的类以及应计时的方法...

编辑：请注意，每次都会重新分配 TO_OVERRIDE __getattribute__ 调用。这是设计使然。如果您将其作为类属性，__getattribute__ 将递归循环（您应该使用对父 __getattribute__ 方法的显式调用来检索它，但这可能是比简单地从头开始重建列表要慢

。

Answer 2

如果您尝试分析 Python 代码，则应该使用 Python 的内置 分析库 而不是尝试手动完成。

Answer 3

为什么不使用一个只调用其参数的包装函数呢？

def wrapper(func, *args, **kwargs):
    ... timing logic ...
    response = func(*args, **kwargs)
    ... more timing logic
    return response

并调用它：

wrapper(datacreator.createPizza, arg1, arg2, kwarg1=kwarg)

请注意，您传递了函数本身，但没有调用它。

Answer 4

以下模板可能会有所帮助：

class MeteredClient(Client):
  def __init__(self, *args, **kwargs):
    super(MeteredClient, self).__init__(*args, **kwargs)

  def __getattribute__(self, method_name):
    attribute = super(Client, self).__getattribute__(method_name)

    if not inspect.ismethod(attribute):
      return attribute

    metric = TIMINGS.labels(method_name)

    def decorator(*args, **kw):
      start_time = get_time()
      rv = attribute(*args, **kw)
      metric.observe(get_time() - start_time)
      return rv

    return decorator