Python distutils 在不同机器上构建不同的扩展

Question

我一直在开发一个包含大量文件的 Python 扩展模块。在一台机器上构建时，python setup.py build 会很乐意检测更改的文件，仅构建这些文件，并将整个文件链接在一起，就像 make 一样。然而，在另一台机器上，对任何文件的一次更改都会触发所有源的重新编译。

只是要明确一点。两台机器都会检测包何时是最新的，并且不会执行任何操作。只有当单个文件发生更改时，它们的行为才会有所不同。

为什么第二台机器会这样做？

机器 1（执行正确的每个文件依赖性检查和构建。）

Python 2.6.4 (r264:75706, Feb 15 2010, 17:06:03) 
[GCC 4.1.2 20080704 (Red Hat 4.1.2-44)] on linux2
Type "help", "copyright", "credits" or "license" for more information.

setuptools-0.6c11-py2.6

LSB Version: :core-3.1-amd64:core-3.1-ia32:core-3.1-noarch:graphics-3.1-amd64:graphics-3.1-ia32:graphics-3.1-noarch
Distributor ID: CentOS
Description: CentOS release 5.4 (Final)
Release: 5.4
Codename: Final

机器 2（当单个源文件更改时重建所有内容。）

Python 2.6.5 (r265:79063, Apr 16 2010, 13:57:41) 
[GCC 4.4.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.

setuptools-0.6c11-py2.6

No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 10.04 LTS
Release: 10.04
Codename: lucid

Answer 1

我查看了 Mercurial 存储库并发现了此更改：

Issue #5372: Drop the reuse of .o files in Distutils 的 c 编译器（因为扩展额外选项可能会更改输出而不更改 .c 文件）。

IOW，这是一个被删除的简单优化。

Answer 2

我已经追踪到 Python 2.6.4 和 Python 2.6.5 之间 distutils 的变化。 distutils.ccompiler.CCompiler 中的两个方法，即 _setup_compile 和 _prep_compile，已删除相同的代码块：

if self.force:
    skip_source = {}            # rebuild everything
    for source in sources:
        skip_source[source] = 0
elif depends is None:
    # If depends is None, figure out which source files we
    # have to recompile according to a simplistic check. We
    # just compare the source and object file, no deep
    # dependency checking involving header files.
    skip_source = {}            # rebuild everything
    for source in sources:      # no wait, rebuild nothing
        skip_source[source] = 1

    n_sources, n_objects = newer_pairwise(sources, objects)
    for source in n_sources:    # no really, only rebuild what's
        skip_source[source] = 0 # out-of-date
else:
    # If depends is a list of files, then do a different
    # simplistic check.  Assume that each object depends on
    # its source and all files in the depends list.
    skip_source = {}
    # L contains all the depends plus a spot at the end for a
    # particular source file
    L = depends[:] + [None]
    for i in range(len(objects)):
        source = sources[i]
        L[-1] = source
        if newer_group(L, objects[i]):
            skip_source[source] = 0
        else:
            skip_source[source] = 1

此代码检查每个源文件针对其目标对象，如果它比目标旧，则将其标记为跳过。我不知道为什么它被删除，但它解释了这种差异。当我将其放回测试时，编译器将恢复为按源依赖性分析。