如何腌制伐木机？

Question

所从事的项目要求我能够在任何时候对容器对象进行 pickle，因为我们希望它在外部条件下经常失败，并且能够完全从我们中断的地方继续。

我非常广泛地使用 python 日志记录库，并且我的所有类都从设置一个记录器开始，如下所示：

class foo:
   def __init__(self):
       self.logger = logging.getLogger("package.foo")

由于我正在腌制一个容器类，因此它内部有多层类，每个类都有自己的记录器实例。

现在，由于某种原因，这些伐木者正在破坏 Pickle。我收到以下错误，如果我从所有类中删除 self.logger，该错误就会消失：

Can't pickle 'lock' object: <thread.lock object at ... >

所以我的问题是是否有某种方法可以从所有记录器中删除锁定对象，而不必递归整个对象树删除记录器，我必须在 unpickle 上重新创建它。

Answer 1

您还可以创建一个类来实现返回所需记录器的属性。从这个“LoggerMixin”继承的每个类现在都可以像以前使用它一样使用记录器。

class LoggerMixin():
    @property
    def logger(self):
        component = "{}.{}".format(type(self).__module__, type(self).__name__)
        return logging.getLogger(component)

class Foo(LoggerMixin):
    def __init__(self):
        self.logger.info("initialize class")

    def bar(self):
        self.logger.info("execute bar")

Answer 2

Python 3.7 中的新增功能 (bpo30520)

Logger 现在可以像许多其他对象一样进行 pickle 。

import pickle
import logging
log = logging.getLogger(__name__)
logger_pickle = pickle.dumps(log)

# and of coarse, to load:
log = pickle.loads(logger_pickle)

Answer 3

您可以创建一个包装记录器并实现 __getstate__ 的类，并且
__setstate__。

这是从 http://docs.python.org/library/pickle.html 粘贴的。 fh 的处理方式可能与您需要的类似。

#!/usr/local/bin/python

class TextReader:
    """Print and number lines in a text file."""
    def __init__(self, file):
        self.file = file
        self.fh = open(file)
        self.lineno = 0

    def readline(self):
        self.lineno = self.lineno + 1
        line = self.fh.readline()
        if not line:
            return None
        if line.endswith("\n"):
            line = line[:-1]
        return "%d: %s" % (self.lineno, line)

    def __getstate__(self):
        odict = self.__dict__.copy() # copy the dict since we change it
        del odict['fh']              # remove filehandle entry
        return odict

    def __setstate__(self, dict):
        fh = open(dict['file'])      # reopen file
        count = dict['lineno']       # read from file...
        while count:                 # until line count is restored
            fh.readline()
            count = count - 1
        self.__dict__.update(dict)   # update attributes
        self.fh = fh                 # save the file object

Answer 4

在这里找到了一个非常相似的问题，答案对我有用：

如何阻止属性在Python中被腌制

编辑：使用这个答案：如何在Python中阻止属性被pickle

Answer 5

您可以在这里使用 dill，它可以 pickle 记录器和锁。

>>> class foo:
...    def __init__(self):
...        self.logger = logging.getLogger("package.foo")
... 
>>> import dill
>>> import logging
>>> 
>>> f = foo()
>>> _f = dill.dumps(f)  
>>> f_ = dill.loads(_f)
>>> f_.logger
<logging.Logger object at 0x110b1d250>