在执行 Python 脚本时替换 Python 扩展模块时出现问题

Question

我正在尝试解决以下问题：假设我有一个 Python 脚本（我们称其为 Test.py），它使用 C++ 扩展模块（通过 SWIG 创建，我们称该模块为“示例”）。我在同一目录中有 Test.py、Example.py 和 _Example.so。

现在，在运行 Test.py 的过程中，我想对示例模块进行更改，重新编译（这将覆盖现有的 .so），并使用命令正常停止仍在使用旧版本的 Test.py模块（Test.py 需要进行一些清理工作，其中使用了示例模块中定义的一些内容），然后使用新版本的模块再次启动它。在我的例子中，优雅地停止 Test.py 然后重新编译模块不是一个选择。

问题是，一旦 _Example.so 被覆盖并且 Test.py 尝试访问示例模块中定义的任何内容（同时正常停止），我就会遇到分段错误。解决此问题的一种方法是通过在末尾附加版本号来显式命名示例模块，但我想知道是否有更好的解决方案（我不想导入Example_1_0）？

Answer 1

您可以在启动 Test.py 时，将 Example.* 文件复制到该实例唯一的临时文件夹（看看 tempfile.mkdtemp，它可以创建安全、唯一的文件夹），添加到sys.path，然后导入Example；并在 Test.py 关闭时在清理阶段删除该文件夹 (shutils.rmtree)。

这意味着 Test.py 的每个实例都将在其自己的示例模块副本上运行，不会干扰其他实例，并且仅在重新启动时才会更新到新的实例。

为此，您需要 Example.* 文件不要与 Test.py 位于同一文件夹中，否则导入将首先获取这些文件。只需将它们存储在子文件夹中就可以了。

Answer 2

您可以编译为临时名称 (Example_1_0)，但一旦 Test.py 停止，重命名为 _Example.so 并然后重新启动 Test.py。

---

编辑：

由于您正在运行多个实例，您可能会考虑使用某种类型的 stack/generator/symlink 线程将它们链接在一起，以在 _Example.so 上执行您自己的“垃圾收集”：

您可以运行主测试器脚本，使用子进程启动 Test.py 脚本。每个 Test.py 都可以将 _ExampleXXX.so 作为命令行参数。然后，您保留每个 .so 文件的引用计数 - 当引用计数降至零时，该版本的模块将被消除，并且该进程将使用最新版本的 _Example.so 重新生成。

这可能有点棘手，但您可能只能使用

while True:
    #Do stuff
    for p in myprocesses:
        retcode = p.poll() # Set to [None][1] if the process hasn't finished
        # Do something with the return code

或一些类似的逻辑。