GNU make：在 Makefile 中提取参数 -j

Question

我已经搜索了一个小时，但这些信息似乎无处可寻...

我希望能够提取（并可能使用）通过 -j 选项传递的请求的 make“作业”数量，或者在子 make 的情况下由 Make 本身在 Makefile 中。

到目前为止我见过的最有前途的东西是 $(MAKEFLAGS) 变量，但在我的系统上（如果我这样做，比如 make -j2），这个变量的内容只是“--jobserver-fds=3,4 -j”。有什么方法可以获取通过 -j 传递的实际作业数量吗？

Answer 1

实际上有一种方法可以在 *nix 上的 makefile 中完全实现这一点。

MAKE_PID := $(shell echo $PPID)
JOB_FLAG := $(filter -j%, $(subst -j ,-j,$(shell ps T | grep "^\s*$(MAKE_PID).*$(MAKE)")))
JOBS     := $(subst -j,,$(JOB_FLAG))

grep 也需要安装，但这几乎是必然的。它也可以进一步改进以处理 --jobs 。

根据评论中的要求，使用正则表达式并支持 --jobs 的版本：

MAKE_PID := $(shell echo $PPID)
JOBS := $(shell ps T | sed -n 's%.*$(MAKE_PID).*$(MAKE).* \(-j\|--jobs=\) *\([0-9][0-9]*\).*%\2%p')

Answer 2

抱歉，如果不编写扫描进程列表来识别调用参数的应用程序或脚本，就无法识别并行作业的数量。

检查源代码 http ://cvs.savannah.gnu.org/viewvc/make/main.c?revision=1.246&root=make&view=markup 。搜索 job_slots > 1..

更新：如果您可以控制操作范围，则可以使用自己的程序/脚本包装 make 应用程序，解析参数，设置专用环境变量，然后调用原始 make。

Answer 3

使用作业服务器 FD 来推断实际可用的作业数量，

我想出了一种不同的方法，我更喜欢解析命令行，正如已接受的答案中所建议的那样。我对后者的主要问题是，它在递归调用的 makefile 中不起作用，因为 jobs 参数是通过那里的 env 传递的，然后它代表 jobserver，它不会告诉您它将有多少个 job token所以

我决定接受 jobserver 的东西，并制作一个小的 Python 脚本，它消耗 jobserver 中的所有令牌，对它们进行计数，然后将它们放回去。

这是一个绝妙的想法，而且似乎非常容易实现，而且对我来说非常有效。

关于如何使用它有一些注意事项：

1. 必须在配方上使用 + 前缀来调用脚本，因为这使得“submake”功能能够复制子进程的作业服务器描述符。能够“生成工人”
2. 以给出正确的作业计数，在配方中包含此脚本的规则应该成为所有目标的通用仅订单虚假先决条件，以便它可以由 make 优先运行到其他任何东西，并且永远不会与其他东西并行，因为这样计数就会关闭
3. 当前脚本实现的最大数量将达到 1024 个令牌。请随意改进代码以避免限制，可以通过围绕读取的简单循环和一些逻辑来完成。

Python 脚本：

import argparse, os

def safe_int(s):
    try:
        return int(s)
    except:
        return -1

class JobserverArgs:
    known_names = ["jobserver-fds","jobserver-auth"]
    def __init__(self):
        self.fds = "-1,-1"

    @staticmethod
    def from_argv():
        ja = JobserverArgs()
        parser = argparse.ArgumentParser()
        for name in JobserverArgs.known_names:
            parser.add_argument('--'+name, dest="fds")
        parser.parse_known_args(namespace=ja)
        return ja

    def get_fds(self):
        return tuple([safe_int(fd) for fd in (self.fds+",").split(",")][:2])


fd_in, fd_out = JobserverArgs.from_argv().get_fds()

if fd_in == -1 or fd_out == -1:
    print(1)
else:
    os.set_blocking(fd_in, False)

    tokens = os.read(fd_in, 1024)
    os.write(fd_out, tokens)

    print(len(tokens)+1)

示例 makefile：

TARGETS := a b c d e

.PHONY: $(TARGETS)
$(TARGETS):
    @for i in 1 2; do echo "$@$i"; sleep 1; done

.PHONY: all
all: $(TARGETS)
    @echo done all

$(TARGETS): | common

.PHONY: common
common:
    +$(eval JOBS:=$(shell python jobs.py $(MAKEFLAGS)))
    @echo JOBS=$(JOBS)

运行它：

projects/make-fun » make all -j100
JOBS=100
a1
b1
c1
d1
e1
a2
b2
c2
d2
e2
done all