描述文件的 python pickleable 对象的设计

Question

我想创建一个描述文件资源的类，然后对其进行pickle。这部分很简单。具体来说，假设我有一个类“A”，它具有对文件进行操作的方法。如果该对象不包含文件句柄，我可以对其进行pickle。我希望能够创建一个文件句柄以便访问“A”描述的资源。如果我在“A”类中有一个“open()”方法来打开并存储文件句柄以供以后使用，那么“A”就不再是可腌制的。 （我在这里补充说，打开文件包括一些无法缓存的重要索引（第三方代码），因此在需要时关闭并重新打开并不是没有费用的）。我可以将类“A”编码为一个工厂，可以生成所描述文件的文件句柄，但这可能会导致多个文件句柄同时访问文件内容。我可以使用另一个类“B”来处理类“A”中文件的打开，包括锁定等。我可能对此想得太多，但任何提示将不胜感激。

Answer 1

问题不太清楚；它看起来是这样的：

• 您有一个具有可picklable类的第三方模块，
• 这些类可能包含对文件的引用，这使得类本身不可picklable，因为打开的文件不可picklable。

本质上，您希望使打开的文件可挑选。您可以相当轻松地做到这一点，但有一些注意事项。这是一个不完整但功能齐全的示例：

import pickle
class PicklableFile(object):
    def __init__(self, fileobj):
        self.fileobj = fileobj

    def __getattr__(self, key):
        return getattr(self.fileobj, key)

    def __getstate__(self):
        ret = self.__dict__.copy()
        ret['_file_name'] = self.fileobj.name
        ret['_file_mode'] = self.fileobj.mode
        ret['_file_pos'] = self.fileobj.tell()
        del ret['fileobj']
        return ret

    def __setstate__(self, dict):
        self.fileobj = open(dict['_file_name'], dict['_file_mode'])
        self.fileobj.seek(dict['_file_pos'])
        del dict['_file_name']
        del dict['_file_mode']
        del dict['_file_pos']
        self.__dict__.update(dict)

f = PicklableFile(open("/tmp/blah"))
print f.readline()
data = pickle.dumps(f)
f2 = pickle.loads(data)
print f2.read()

警告和注释，有些明显，有些则不太明显：

• 此类应该直接对从 open 获得的文件对象进行操作。如果您在文件上使用包装类，例如 gzip.GzipFile，那么这些包装类应该位于此上方，而不是下方。从逻辑上讲，将其视为 file 之上的装饰器类。
• 如果 unpickle 时文件不存在，则无法 unpickle 并且会抛出异常。
• 如果是不同的文件，则该行为可能有意义，也可能没有意义。
• 如果文件模式包含文件创建（'w+'），并且文件不存在，则创建文件；我们不知道要使用什么文件权限，因为它没有与文件一起存储。如果这很重要（可能不应该如此），那么在第一次创建类时将正确的权限存储在类中。
• 如果文件不可查找，尝试查找旧位置可能会引发 IOError；如果您使用这样的文件，您需要决定如何处理它。
• Python 2 和 Python 3 中的文件类不同； Python 3 中没有 file 类。即使您现在只使用 Python 2，也不要子类化 file。

我会避免这样做；依赖于外部文件的腌制数据不改变并保留在同一个地方是很脆弱的。这使得重新定位文件变得困难，因为您的腌制数据没有意义。

Answer 2

如果您打开指向文件的指针，对其进行腌制，然后稍后尝试重新构建，则不能保证该文件仍可用于打开。

详细来说，文件指针实际上代表了与文件的连接。就像数据库连接一样，您无法“pickle”连接的另一端，因此这不起作用。

是否可以将文件指针保留在自己进程的内存中？

Answer 3

听起来你知道你不能腌制手柄，但你对此没意见，你只想腌制可以腌制的部分。正如您的对象现在所站的那样，它不能被腌制，因为它有手柄。我有这个权利吗？如果是这样，请继续阅读。

对于这些情况，pickle 模块将让你的类描述它自己的状态来 pickle。您想要定义自己的 __getstate__ 方法。 pickler 将调用它来获取要腌制的状态，只有当该方法丢失时，它才会继续执行尝试腌制所有属性的默认操作。