make：禁用某些目标的并行执行

Question

我有一个编译工作，其中链接需要大量 IO 工作。我们有大约十几个核心，因此我们运行 make -j13，但是当涉及到链接 6 个目标时，我希望这些以循环方式完成。我想过让一个依赖于下一个，但我认为这会打破单独的目标。有什么想法如何解决这个小问题吗？

Answer 1

make 本身不提供请求“N 个，但一次不超过 M 个”的机制。

您可以尝试使用 GNU parallel 包中的 sem 命令你的链接器规则的配方。其文档有一个确保一次仅运行一个工具实例的示例。在您的示例中，您将允许 make 一次启动最多 13 个 sem，但一次只有其中一个会运行链接器，而其他的则阻止。

缺点是，您可能会遇到这样的情况：make 的 13 个作业槽位中有 5 个与 sem 实例绑定，而这些实例都在等待链接器进程来执行操作。结束。根据构建的结构，这可能意味着浪费一些 CPU 时间。不过，仍然击败了 6 个链接器同时对磁盘造成的影响:-)

Answer 2

您应该指定您的六个目标不能并行构建。将这样的行添加到您的 makefile 中：

.NOTPARALLEL: target1 target2 target3 target4 target5 target6

有关详细信息，请查看此处 https://www.gnu.org/software/make/manual/html_node/Parallel-Disable.html。

Answer 3

我偶然发现了一个 hacky 解决方案：

对于它运行的每个配方，Make 都会做两件事：它扩展配方中的变量/函数，然后运行 ​​shell 命令。

由于第一步可以读取/写入全局变量，因此它似乎是同步完成的。

因此，如果您在第一步中运行所有 shell 命令（使用 $(shell )），则其他配方在运行时将无法启动。

例如，考虑这个 makefile：

all: a b

a:
        sleep 1

b:
        sleep 1

time make -j2 报告 1 秒。

但如果您将其重写为：

# A string of all single-letter Make flags, without spaces.
override single_letter_makeflags = $(filter-out -%,$(firstword $(MAKEFLAGS)))

ifneq ($(findstring n,$(single_letter_makeflags)),)
# See below.
override safe_shell = $(info Would run shell command: $1)
else ifeq ($(filter --trace,$(MAKEFLAGS)),)
# Same as `$(shell ...)`, but triggers a error on failure.
override safe_shell = $(shell $1)$(if $(filter-out 0,$(.SHELLSTATUS)),$(error Unable to execute `$1`, exit code $(.SHELLSTATUS)))
else
# Same functions but with logging.
override safe_shell = $(info Shell command: $1)$(shell $1)$(if $(filter-out 0,$(.SHELLSTATUS)),$(error Unable to execute `$1`, exit code $(>
endif

# Same as `safe_shell`, but discards the output and expands to nothing.
override safe_shell_exec = $(call,$(call safe_shell,$1))


all: a b

a:
        $(call safe_shell_exec,sleep 1)
        @true

b:
        $(call safe_shell_exec,sleep 1)
        @true

time make -j2 现在报告 2 秒。

在这里，@true 不执行任何操作，并抑制 Nothing to be did for ?? 输出。

但这种方法存在一些问题。一是所有输出都将被丢弃，除非重定向到文件或 stderr...

Answer 4

它不会打破个人目标。
您可以为目标创建任意数量的 (:) 规则，只要其中只有一个规则具有构建它的实际配方即可。这似乎是一个很好的用例。