为什么发电机不能腌制？

Question

Python 的 pickle（我在这里说的是标准 Python 2.5/2.6/2.7）不能 pickle 锁、文件对象等。

它也不能 pickle 生成器和 lambda 表达式（或任何其他匿名代码），因为 pickle 实际上只存储名称引用。

对于锁和依赖于操作系统的功能，不能 pickle 它们的原因是显而易见且有意义的。

但是为什么你不能pickle生成器？

---

注意：只是为了清楚起见——我对根本原因感兴趣（或设计决策中的假设和选择） 为什么，而不是“因为它会给你一个 Pickle 错误”。

我意识到这个问题有点宽泛，所以这里有一个经验法则来决定你是否回答它：“如果提出这些假设，或者允许的发电机类型在某种程度上受到更多限制，酸洗发电机会再次工作吗？”

Answer 1

有很多关于此的信息。有关该问题的“官方说法”，请阅读（已关闭）Python bugtracker 问题。

做出该决定的人之一详细说明了核心推理 此博客：

由于生成器本质上是一个增强的函数，因此我们需要保存它的字节码（这不能保证在 Python 版本之间向后兼容）及其框架（保存生成器的状态，例如局部变量） 、闭包和指令指针。后者实现起来相当麻烦，因为它基本上需要使整个解释器变得可腌制。因此，任何对 pickling 生成器的支持都需要对 CPython 的核心进行大量更改。

现在，如果 pickle 不支持的对象（例如，文件句柄、套接字、数据库连接等）出现在生成器的局部变量中，则无论 pickle 支持如何，该生成器都无法自动 pickle我们可能会实现的生成器。因此在这种情况下，您仍然需要提供自定义的 __getstate__ 和 __setstate__ 方法。这个问题使得对生成器的任何酸洗支持都相当有限。

并提到了两个建议的解决方法：

无论如何，如果您需要这样的功能，请查看 Stackless Python，它可以完成上述所有操作。由于 Stackless 的解释器是可挑选的，因此您还可以免费获得流程迁移。这意味着您可以中断一个tasklet（Stackless 的绿色线程的名称），对其进行pickle，将pickle 发送到另一台机器，对其进行unpickle，恢复该tasklet，然后瞧，您刚刚迁移了一个进程。这是一个非常酷的功能！

但以我的拙见，解决此问题的最佳解决方案是将生成器重写为简单的迭代器（即具有 __next__ 方法的迭代器）。迭代器在空间上可以轻松高效地进行 pickle，因为它们的状态是明确的。然而，您仍然需要显式地处理表示某些外部状态的对象；你无法回避这个问题。

Answer 2

实际上可以，具体取决于实施情况。 PyPy 和 Stackless Python两者都允许这样做（无论如何在某种程度上）：

Python 2.7.1 (dcae7aed462b, Aug 17 2011, 09:46:15)
[PyPy 1.6.0 with GCC 4.0.1] on darwin
Type "help", "copyright", "credits" or "license" for more information.
And now for something completely different: ``Not your usual analyses.''
>>>> import pickle
>>>> gen = (x for x in range(100))
>>>> next(gen)
0
>>>> pickled = pickle.dumps(gen)
>>>> next(pickle.loads(pickled))
1

在 CPython 中也可以创建一个 迭代器对象来模拟可选取的生成器。