Pickled 对象版本控制

Question

我正在开发一个项目，其中有大量对象被序列化并使用 pickle/cPickle 存储到磁盘。

随着项目生命周期的进展（在向现场客户发布之后），未来的功能/修复可能会要求我们更改一些持久对象的签名。这可能是添加字段、删除字段，甚至只是更改一条数据的不变量。

是否有一种标准方法可以将要腌制的对象标记为具有特定版本（例如 Java 中的 serialVersionUID）？基本上，如果我要恢复 Foo 版本 234 的实例，但当前代码是 236，我希望收到一些有关 unpickle 的通知。我应该继续推出我自己的解决方案（可以是 PITA）吗？

谢谢

Answer 1

pickle 格式没有这样的限制。为什么不将“序列版本号”作为对象属性的一部分，与其他属性一起进行腌制呢？然后，通过比较实际版本和所需版本就可以轻松获得“通知”——不明白为什么它应该是 PITA。

Answer 2

考虑 Tomasz Früboes 建议的以下类 mixin 此处。

# versionable.py
class Versionable(object):
    def __getstate__(self):
        if not hasattr(self, "_class_version"):
            raise Exception("Your class must define _class_version class variable")
        return dict(_class_version=self._class_version, **self.__dict__)
    def __setstate__(self, dict_):
        version_present_in_pickle = dict_.pop("_class_version")
        if version_present_in_pickle != self._class_version:
            raise Exception("Class versions differ: in pickle file: {}, "
                            "in current class definition: {}"
                            .format(version_present_in_pickle,
                                    self._class_version))
        self.__dict__ = dict_

__getstate__ 方法在 pickle 时由 pickle 调用，而 __setstate__ 在 unpickling 时由 pickle 调用。该混合类可以用作您想要跟踪其版本的类的子类。其用法如下：

# bla.py
from versionable import Versionable
import pickle

class TestVersioning(Versionable):
    _class_version = 1

t1 = TestVersioning()

t_pickle_str = pickle.dumps(t1)

class TestVersioning(Versionable):
    _class_version = 2

t2 = pickle.loads(t_pickle_str) # Throws exception about wrong class version