如何强制 gnu make 不并行构建配方？

Question

我如何告诉 gnu make 不要并行构建某些配方。假设我有以下 makefile ：

sources = a.xxx b.xxx c.xxx
target  = program

all : $(target)

$(target) : $(patsubst %.xxx,%.o,$(sources))
    $(CXX) -o $@ $<

%.o : %.cpp
    $(CXX) -c -o $@ $<

%.cpp : %.xxx
    my-pre-processor -o $@ $<

但是，my-pre-processor 命令创建具有固定名称的临时文件（我无法更改它）。如果我只使用不带 -j 参数的 make，则效果很好。但是，如果使用 -j 选项，构建有时会失败，因为两次并发调用 my-pre-processor 会覆盖其临时文件。

我想知道是否有一种方法可以告诉 make 它不能构建并行执行 %.cpp : %.xxx 配方的尝试。

Answer 1

解决方案 1

GNU Make 包含特殊的内置伪目标 .NOTPARALLEL

示例：

.PHONY: all clean

.NOTPARALLEL:

anotherTarget: dependency1

---

解决方案 2

您还可以使用 -j,--命令行上的 jobs[=] 标志，其中 n 是允许并行运行的食谱数量。

用法：
make -j 或 make --jobs=

示例：
make -j 1 或 make --jobs=1

注意： 省略 将允许任意要执行的配方数量，仅受系统可用资源的限制

---

解决方案 3

最后，您可以将解决方案 2 中的命令行标志分配给 Makefile

示例中的 MAKEFLAGS 变量：
MAKEFLAGS := -j 1
或者
MAKEFLAGS := --jobs=1

Answer 2

一个相关的解决方案是指定您想要构建的确切顺序（而不是说“不要并行构建”）。

要指定确切的顺序，您可以使用仅订单先决条件。这是 GNU make 的手册页：

但是，有时您会遇到这样的情况：您想要强加一个
对要调用的规则进行特定排序，而不强制
如果执行这些规则之一，则更新目标。在那种情况下，
您想要定义仅限订单的先决条件。仅限订单先决条件
可以通过在先决条件中放置管道符号 (|) 来指定
列表：管道符号左侧的任何先决条件都是正常的；任何
右侧的先决条件仅适用于订单：

目标：正常先决条件 |仅订购先决条件

这是他们提供的示例：

OBJDIR := objdir
OBJS := $(addprefix $(OBJDIR)/,foo.o bar.o baz.o)

$(OBJDIR)/%.o : %.c
        $(COMPILE.c) $(OUTPUT_OPTION) 
lt;

all: $(OBJS)

$(OBJS): | $(OBJDIR)

$(OBJDIR):
        mkdir $(OBJDIR)

由于竞争条件，我不得不在 make dist 规则上使用仅顺序先决条件。 dist 配方依赖于 distclean 和 diff 规则，并且 diff 规则执行 svn diff -r XXX 显示确切的更改。有时，make 会删除它刚刚创建的 diff，因为 clean 规则将在 diff 规则之后运行。

Answer 3

这是一个可怕的拼凑，但它会完成工作：

b.cpp: a.cpp

c.cpp: b.cpp

或者如果实际上有很多这样的东西，你可以喝一些烈性饮料并执行此操作：（

c-sources = $(sources:.xxx=.cpp)

ALLBUTFIRST = $(filter-out $(firstword $(c-sources)), $(c-sources))
ALLBUTLAST = $(filter-out $(lastword $(c-sources)), $(c-sources))
PAIRS = $(join $(ALLBUTLAST),$(addprefix :,$(ALLBUTFIRST)))

$(foreach pair,$(PAIRS),$(eval $(pair)))

这在 GNUMake 中有效，我不知道其他版本。）

Answer 4

如果临时文件是在当前工作目录中创建的，您也许可以使用子目录（不太漂亮，但很少见）：

sources = a.xxx b.xxx c.xxx
target  = program

all : $(target)

$(target) : $(patsubst %.xxx,%.o,$(sources))
    $(CXX) -o $@ 
lt;

%.o : %.cpp
    $(CXX) -c -o $@ 
lt;

%.cpp : %.xxx
    mkdir [email protected]
    s=`realpath 
lt;` && cd [email protected] && my-pre-processor -o ../$@ "${s}" || { $(RM) -r [email protected] && false; }
    $(RM) -r [email protected]

此外，由于您使用的是语法，但不是 GNU make 专用的功能，请注意以下内容等效的 Makefile 应该更可移植

sources = a.xxx b.xxx c.xxx
target  = program

all : $(target)

$(target) : $(sources:.xxx=.o)
    $(CXX) -o $@ 
lt;

.cpp.o:
    $(CXX) -c -o $@ 
lt;

.xxx.cpp:
    mkdir [email protected]
    s=`realpath 
lt;` && cd [email protected] && my-pre-processor -o ../$@ "${s}" || { $(RM) -r [email protected] && false; }
    $(RM) -r [email protected]

.PHONY: all
.SUFFIXES: .xxx .cpp .o

另请注意，GNU make 的固有 .cpp.o: 规则允许用户在命令行上指定标志，（类似于）

.cpp.o:
    $(CXX) $(CPPFLAGS) $(CXXFLAGS) -c -o $@ 
lt;

您的用户在需要提供时可能会喜欢的标志，比如说，通过 -L... 自定义包含目录

Answer 5

你最好研究一下automake自带的ylwrap工具的操作：它解决了旧版本lex的大部分相同问题和yacc：

http://git .savannah.gnu.org/cgit/automake.git/tree/lib/ylwrap

Answer 6

在 Linux 上，您可以使用 flock file -c "command"： https://man7.org/linux/man-pages/man1/flock.1.html。我已经使用flock解决了GPU资源同步问题。

###############################
%.wav: %.txt
    flock .cuda.lock -c "python synthesize.py --in 
lt; --out $@ --dev cuda:0"
################################
%.mp3: %.wav
    ffmpeg -i 
lt; $@
################################

如果我调用：make 1.mp3 2.mp3 3.mp3 -j3 - 它将同步python，但不会同步ffmpeg。

Answer 7

我遇到了同样的问题（我的 sw 签名服务不接受多个并发请求）。我的解决方案是在接收器中添加一个互斥锁：

%.cpp : %.xxx
    @ until mkdir /tmp/make.lock 2>/dev/null ; do sleep 2 ; done
    my-pre-processor -o $@ 
lt;
    @ rmdir /tmp/make.lock

这允许 makefile 的所有其他部分并行运行，但此时只会运行一个“我的预处理器”。

Answer 8

@airenas 使用集群的建议可以概括为一个实用程序 Makefile，您可以在此测试 makefile 中包含和使用：

NOTPARALLEL_test.mk 的内容

include NOTPARALLEL.mk

.ONESHELL:
$(shell mkdir -p t/NOTPARALLEL)

.NOTPARALLEL+=t/NOTPARALLEL/%
t/NOTPARALLEL/%::
    date > $@
    cat $@
    sleep 2

t: t/NOTPARALLEL/1 t/NOTPARALLEL/2 t/NOTPARALLEL/3

${USE_NOTPARALLEL}

，这取决于包含的实用程序：

NOTPARALLEL 的内容。 mk

define _flockCmdScript :=
#!/bin/env bash
flock "${1}" -c "${2}"
endef

_flockCmdPath:=$(dir $(lastword $(MAKEFILE_LIST)))_flockcmd
.SECONDARY: ${_flockCmdPath}
${_flockCmdPath}: private SHELL=/bin/bash
.PHONY: flockcmd

PPID!=echo $PPID
_flock_prefix!=mktemp ${TMPDIR-/tmp}/.flock_XXX_NOTPARALLEL.$(notdir $(firstword $(MAKEFILE_LIST)))
override define NOTPARALLEL 
$(shell flock ${_flock_prefix}_make_flockCmdPath -c $'if [ ! -e "${_flockCmdPath}" ] ; then cat > ${_flockCmdPath} <<< \'${_flockCmdScript}\' ; fi ;')
$1: private SHELL=${_flockCmdPath}
$1: private .SHELLFLAGS=${_flock_prefix}_$(subst /,.,$1)
endef

## define macro te be exanded at bottom of makefiles which `include
## NOTPARALLEL.mk` with the line: `${USE_NOTPARALLEL}'
USE_NOTPARALLEL=$(eval $(foreach pattern,${.NOTPARALLEL},$(call NOTPARALLEL,${pattern})))

## distributed & installed with this utility is NOTPARALLEL_test.mk
## which instructively may be called as:
t:
    $(MAKE) -O -j10 -B -f NOTPARALLEL_test.mk # which contains `include NOTPARALLEL.mk`
    $(MAKE) -O -j10 -B -f NOTPARALLEL_test.mk .NOTPARALLEL=t/% -B -j10 # all recipes targetting t/% are evaluated sequentially
    $(MAKE) -O -j10 -B -f NOTPARALLEL_test.mk NOTPARALLEL= -B -j10 # all recipes are run in parallel (since macro NOTPARALLEL (note: no leading period) is defined as empty).

然后您可以调用 NOTPARALLEL_test 文件的多种不同用法，如下所示：

make -O -j10 -B -f NOTPARALLEL.mk  t

这是一些文档：

目的：当您愿意时，在您的 makefile 中包含 NOTPARALLEL.mk
使用Make的并行执行（例如-j/--jobs）但想禁用它
对于选定的模式规则。它定义了两个变量 .NOTPARALLEL 和
USE_NOTPARALLEL。添加（例如使用 Makes += 运算符）到
.NOTPARALLEL 那些匹配目标不应该的模式规则
让他们的食谱彼此并行执行（尽管
仍然允许与任何其他目标并行执行
生成文件）。您也可以在命令行中提供它。放
在 makefile 末尾添加 ${USE_NOTPARALLEL} 来激活它。

它可以通过更改 Make 的 SHELL 来颠覆 GNUMake 的 --jobs 功能
和 .SHELLFLAGS，因此配方作为 flock. 创建的参数运行
一个锁定文件，一次只允许运行一个配方实例。

由于 flock 失败
NFSv4
（并且为了一般性能），锁文件存储在 $[TMPDIR}
（默认为 /tmp）（假设未安装 NFS）。这
lock 文件以当前 makefile 的进程 ID 命名
当前的 Makefile 以及模式本身。

实现将SHELL变量覆盖到bash脚本中
_flockcmd 依次调用 flock $1 -c $2。这个脚本是
第一次时在与 NOTPARALLEL.mk 相同的目录中按需创建
需要。

此方法仅在当前SHELL提供flock时有效
（sh 和 bash 也是如此）；具体来说，通常预计它不会起作用
在“高级”使用 make 中，makefile 已更改 SHELL
（例如 perl、sqlite 或 R）。这是因为食谱是
作为 shell 命令传递给 flock 并由其执行。允许
将来可能会实现替代的 SHELL。

注意：如果没有的话，很难想象整个方法的价值
使用 .ONESHELL，但不是必需的。

注意：持有锁的配方仍会占用 Make 的进程槽之一。