构建“基于ctypes”的模型带有 distutils 的 C 库

Question

按照此建议，我编写了一个本机C扩展库通过 ctypes 优化 Python 模块的一部分。我选择 ctypes 而不是编写 CPython 原生库，因为它更快、更容易（只有几个函数，里面有所有紧密的循环）。

我现在遇到了障碍。如果我希望使用 distutils 使用 python setup.py install 轻松安装我的工作，那么 distutils 需要能够构建我的共享库并将其安装（大概到 /usr/lib/ 我的项目）。然而，这不是一个 Python 扩展模块，据我所知，distutils 无法做到这一点。

我发现了一些对其他遇到此问题的人的参考：

• 2006 年有人就 numpy-discuss 进行了讨论。
• 有人询问 distutils-sig 但没有得到答案 。
• 有人询问主要的 python 列表并被指出了一个现有项目。

我知道我可以做一些本机的事情，而不是使用 distutils 作为共享库，或者确实使用我的发行版的打包系统。我担心这会限制可用性，因为并不是每个人都能轻松安装它。

所以我的问题是：当前使用 distutils 分发共享库的最佳方法是什么，该共享库将由 ctypes 使用，但否则是操作系统本机的，而不是 Python 扩展模块？

如果您可以扩展它并证明为什么这是最好的方法，请随意回答上面链接的黑客之一。如果没有更好的办法，至少所有的信息都会集中在一处。

Answer 1

distutils 文档此处指出：

CPython 的 AC 扩展是一个共享库（例如 Linux 上的 .so 文件，Windows 上的 .pyd），它导出初始化函数。

因此，关于普通共享库的唯一区别似乎是初始化函数（除了合理的文件命名约定之外，我认为您没有任何问题）。现在，如果您查看 distutils.command.build_ext，您将看到它定义了一个 get_export_symbols() 方法：

返回共享扩展必须导出的符号列表。这可以使用“ext.export_symbols”，或者如果未提供，则使用“PyInit_”+ module_name。仅与 Windows 相关，其中 .pyd 文件 (DLL) 必须导出模块“PyInit_”函数。

因此，将它用于普通共享库应该是开箱即用的，除了在
视窗。但解决这个问题也很容易。 get_export_symbols() 的返回值被传递给 distutils.ccompiler.CCompiler.link()，该文档指出：

'export_symbols' 是共享库将导出的符号列表。 （这似乎仅在 Windows 上相关。）

因此，不将初始化函数添加到导出符号即可解决问题。为此，您只需要简单地重写 build_ext.get_export_symbols() 即可。

另外，您可能想简化模块名称。下面是一个 build_ext 子类的完整示例，它可以构建 ctypes 模块以及扩展模块：

from distutils.core import setup, Extension
from distutils.command.build_ext import build_ext


class build_ext(build_ext):

    def build_extension(self, ext):
        self._ctypes = isinstance(ext, CTypes)
        return super().build_extension(ext)

    def get_export_symbols(self, ext):
        if self._ctypes:
            return ext.export_symbols
        return super().get_export_symbols(ext)

    def get_ext_filename(self, ext_name):
        if self._ctypes:
            return ext_name + '.so'
        return super().get_ext_filename(ext_name)


class CTypes(Extension): pass


setup(name='testct', version='1.0',
      ext_modules=[CTypes('ct', sources=['testct/ct.c']),
                   Extension('ext', sources=['testct/ext.c'])],
      cmdclass={'build_ext': build_ext})

Answer 2

我在这里设置了一个带有 ctypes 扩展的最小工作 python 包：
https://github.com/himbeles/ctypes-example
适用于 Windows、Mac、Linux。

• 它采用上面的 memeplex 方法覆盖 build_ext.get_export_symbols() 并强制库扩展对于所有操作系统都相同 (.so)。
• 此外，c / c++ 源代码中的编译器指令可确保在 Windows 与 Unix 上正确导出共享库符号。
• 作为奖励，二进制轮子由 GitHub Action 自动编译，适用于所有操作系统:-)

Answer 3

到 2024 年，distutils 将被弃用，但这个问题仍然与其直接后继者 setuptools 相关。 setuptools 中的 setup 命令有一个选项 libraries 用于构建非扩展模块的库。此选项旨在仅构建扩展模块依赖项所需的库（静态链接，不作为库文件包含在二进制发行版中）。但是，可以更改相应的 setuptools 命令类以生成共享库（可通过 ctypes 加载）并将其包含在二进制发行版中。这是setup.py中的相关代码：

import os

from setuptools import setup
from setuptools.command.build_clib import build_clib


class BuildSharedLibraryCommand(build_clib):
    """
    Build a shared library.

    This is a modified version of the [build_clib class in
    setuptools](https://github.com/pypa/setuptools/blob/v75.1.0/setuptools/command/build_clib.py#L16-L110).
    """

    def finalize_options(self):
        super().finalize_options()
        # `self.build_clib` is set to a temporary directory in the base class. However, we want to build the shared
        # library in the actual build directory, so reset it here.
        self.build_clib = None
        self.set_undefined_options(
            "build",
            ("build_lib", "build_clib"),
        )

    def build_libraries(self, libraries):
        for lib_name, build_info in libraries:
            sources = sorted(list(build_info.get("sources")))

            expected_objects = self.compiler.object_filenames(
                sources,
                output_dir=self.build_temp,
            )

            macros = build_info.get("macros")
            include_dirs = build_info.get("include_dirs")
            cflags = build_info.get("cflags")
            self.compiler.compile(
                sources,
                output_dir=self.build_temp,
                macros=macros,
                include_dirs=include_dirs,
                extra_postargs=cflags,
                debug=self.debug,
            )

            link_libraries = build_info.get("link_libraries")
            library_dirs = build_info.get("library_dirs")
            lflags = build_info.get("lflags")
            if platform.system() == "Windows":
                if lflags is None:
                    lflags = []
                # The `link_shared_lib` command below does not include the `/DLL` flag, so add it here.
                if "/DLL" not in lflags:
                    lflags.append("/DLL")
            # Link the object files together into a shared library and store it in the package where the first source
            # file is located.
            self.compiler.link_shared_lib(
                expected_objects,
                lib_name,
                output_dir=os.path.join(self.build_clib, os.path.dirname(sources[0])),
                libraries=link_libraries,
                library_dirs=library_dirs,
                extra_postargs=lflags,
                debug=self.debug,
            )

    def get_library_names(self):
        # `build_clib` was actually designed to build a static lib which is linked to all extension modules. However,
        # this class modifies that behavior to build a shared library which shall NOT be linked to the extension
        # modules. The extension module link code queries `build_clib` libraries by calling `get_library_names()`.
        # Therefore, clear the library list, so no unwanted libraries will be linked.
        return []


setup(
    cmdclass={"build_clib": BuildSharedLibraryCommand},
    libraries=[
        (
            "algorithm",
            {
                "sources": ["myproject/calculation/algorithm.c"],
                "include_dirs": [],
                "library_dirs": [],
                "link_libraries": [],
            },
        )
    ],
)

在setup调用中，cmdclass参数用于覆盖默认的build_clib代码>命令。 libraries 参数声明需要构建的所有库。在 Linux 上，这将生成一个 libalgorithm.so ，它与第一个源文件位于同一目录中。

Answer 4

这里有一些澄清：

1. 它不是一个“基于 ctypes”的库。它只是一个标准的 C 库，你想用 distutils 安装它。如果您使用 C 扩展、ctypes 或 cython 来包装该库，则与问题无关。

2. 由于该库显然不是通用的，而只是包含针对您的应用程序的优化，因此您链接到的建议不适用于您，在您的情况下，编写 C 扩展或使用 Cython 可能更容易，在这种情况下，您的问题就可以避免。

对于实际问题，您始终可以使用自己的自定义 distutils 命令，事实上，与此类命令相关的讨论之一是 OOF2 build_shlib 命令，它可以满足您的需求。在这种情况下，虽然您想要安装一个实际上不共享的自定义库，但我认为您不需要将其安装在 /usr/lib/yourproject 中，但您可以将其安装到 /usr 中的包目录中/lib/python-xx/site-packages/yourmodule，以及您的 python 文件。但我不是 100% 确定，所以你必须尝试一下。