更改模块目录后的 Python pickle

Question

我最近更改了程序的目录布局：之前，我将所有模块都放在“main”文件夹中。现在，我已将它们移动到以程序命名的目录中，并在其中放置一个 __init__.py 来制作一个包。

现在，我的主目录中有一个 .py 文件，用于启动我的程序，这更加简洁。

不管怎样，尝试从我的程序的早期版本加载腌制文件失败了。我收到“ImportError：没有名为工具的模块” - 我猜这是因为我的模块以前位于主文件夹中，现在位于 Whyteboard.tools 中，而不仅仅是普通的工具。但是，在工具模块中导入的代码与其位于同一目录中，因此我怀疑是否需要指定一个包。

所以，我的程序目录看起来像这样：

whyteboard-0.39.4

-->whyteboard.py

-->README.txt

-->CHANGELOG.txt

---->whyteboard/

---->whyteboard/__init__.py

---->whyteboard/gui.py

---->whyteboard/tools.py

Whyteboard.py 从 Whyteboard/gui.py 启动一段代码，并触发上GUI。在目录重新组织之前，这个酸洗问题肯定不会发生。

Answer 1

正如 pickle 的文档所说，为了保存和恢复类实例（实际上也是一个函数），您必须遵守某些约束：

pickle可以保存和恢复类
实例透明，但是
类定义必须是可导入的
并住在同一个模块中
对象已存储

whyteboard.tools不是“与”tools“相同的模块”（即使它可以通过import导入tools 被同一包中的其他模块调用，它最终以 sys.modules['whyteboard.tools'] 的形式出现在 sys.modules 中：这绝对是至关重要的，否则同一包中的一个模块与另一个包中的一个模块导入的同一模块最终会出现多个条目，并且可能存在冲突！）。

如果您的 pickle 文件采用良好/高级格式（而不是仅出于兼容性原因而默认的旧 ascii 格式），那么在执行此类更改后迁移它们实际上可能不那么简单作为“编辑文件”（这是二进制的&c...！），尽管另一个答案表明了这一点。相反，我建议您制作一个小“pickle 迁移脚本”：让它像这样修补 sys.modules...：

import sys
from whyteboard import tools

sys.modules['tools'] = tools

然后 cPickle.load 每个文件、 del sys.modules['tools'] 和 cPickle.dump 将每个加载的对象返回到文件：sys.modules 应该让 pickles 成功加载，然后再次转储它们应该为实例的类使用正确的模块名称（删除额外的条目应该确保这一点）。

Answer 2

这可以通过使用 的自定义“unpickler”来完成find_class()：

import io
import pickle


class RenameUnpickler(pickle.Unpickler):
    def find_class(self, module, name):
        renamed_module = module
        if module == "tools":
            renamed_module = "whyteboard.tools"

        return super(RenameUnpickler, self).find_class(renamed_module, name)


def renamed_load(file_obj):
    return RenameUnpickler(file_obj).load()


def renamed_loads(pickled_bytes):
    file_obj = io.BytesIO(pickled_bytes)
    return renamed_load(file_obj)

那么您需要使用 renamed_load() 而不是 pickle.load() 和 renamed_loads() 而不是 pickle.loads()。

Answer 3

发生在我身上，通过在加载 pickle 之前将模块的新位置添加到 sys.path 来解决它：

import sys
sys.path.append('path/to/whiteboard')
f = open("pickled_file", "rb")
pickle.load(f)

Answer 4

pickle 通过引用序列化类，因此如果您更改类的生存位置，它将不会取消pickle，因为将找不到该类。如果您使用 dill 而不是 pickle，那么您可以通过引用或直接序列化类（通过直接序列化类而不是其导入路径）。您只需在 dump 之后和 load 之前更改类定义即可轻松模拟这一点。

Python 2.7.8 (default, Jul 13 2014, 02:29:54) 
[GCC 4.2.1 Compatible Apple Clang 4.1 ((tags/Apple/clang-421.11.66))] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import dill
>>> 
>>> class Foo(object):
...   def bar(self):
...     return 5
... 
>>> f = Foo()
>>> 
>>> _f = dill.dumps(f)
>>> 
>>> class Foo(object):
...   def bar(self, x):
...     return x
... 
>>> g = Foo()
>>> f_ = dill.loads(_f)
>>> f_.bar()
5
>>> g.bar(4)
4

Answer 5

这是 pickle 的正常行为，unpickled 对象需要有它们的 定义可导入模块。

您应该能够通过编辑 pickled 文件来更改模块路径（即从 tools 到 whyteboard.tools），因为它们通常是简单的文本文件。

Answer 6

对于像我这样需要更新大量 pickle 转储的人，这里有一个实现 @Alex Martelli 的极好的建议的函数：

import sys
from types import ModuleType
import pickle

# import torch

def update_module_path_in_pickled_object(
    pickle_path: str, old_module_path: str, new_module: ModuleType
) -> None:
    """Update a python module's dotted path in a pickle dump if the
    corresponding file was renamed.

    Implements the advice in https://stackoverflow.com/a/2121918.

    Args:
        pickle_path (str): Path to the pickled object.
        old_module_path (str): The old.dotted.path.to.renamed.module.
        new_module (ModuleType): from new.location import module.
    """
    sys.modules[old_module_path] = new_module

    dic = pickle.load(open(pickle_path, "rb"))
    # dic = torch.load(pickle_path, map_location="cpu")

    del sys.modules[old_module_path]

    pickle.dump(dic, open(pickle_path, "wb"))
    # torch.save(dic, pickle_path)

在我的例子中，转储是 PyTorch 模型检查点。因此注释掉了 torch.load/save()。

示例

from new.location import new_module

for pickle_path in ('foo.pkl', 'bar.pkl'):
    update_module_path_in_pickled_object(
        pickle_path, "old.module.dotted.path", new_module
    )

Answer 7

当您尝试加载包含类引用的 pickle 文件时，必须遵循保存 pickle 时相同的结构。如果你想在其他地方使用pickle，你必须告诉这个类或其他对象在哪里；因此，执行以下操作可以挽救这一天：

import sys
sys.path.append('path/to/folder containing the python module')

Answer 8

我知道这已经有一段时间了，但这为我解决了这个问题：

本质上，使用完整的导入路径（例如 concurrent.run_concurrent），而不仅仅是模块名称（例如 run_concurrent） code>)

---

共享代码：

import importlib
module_path="concurrent.run_concurrent"

...

module = importlib.util.module_from_spec(spec)

原始（错误）：

module_name = module_path.split(".")[-1]

spec = importlib.util.spec_from_file_location(module_name, filepath)

...

sys.modules[module_name] = module

替换为以下内容（删除对 module_name 的所有引用）：

# Remove "module_name"

# Use "module_path" instead of "module_name"
spec = importlib.util.spec_from_file_location(module_path, filepath)

...

# Use "module_path" instead of "module_name"
sys.modules[module_path] = module