在 Ksh 和 Perl 中并行执行任务的最佳方式是什么？

Question

我有一个大型 C++ 项目，需要在没有并行 make 的平台上构建（例如 Linux 上的 make -j）。 服务器有 6 个 CPU，我想手动进行并行构建。

我可以为大约 300 个目标文件生成这样的任务列表。 我使用 Makefile 进行依赖性检查和增量构建：

make -f Makefile obj1.o

make -f Makefile obj2.o

make -f Makefile obj3.o ...

我如何使用 Ksh 和 Perl 并行执行这些任务，同时运行的任务不超过 6 个？ （Java 或 Python 不可用:-( )

Answer 1

在 Perl 中，您应该查看 Parallel::ForkManager。 你可以这样做：

my @make_obj = qw(
  obj1.o
  obj2.o
  obj3.o
  ...
);

my $fm = $pm = new Parallel::ForkManager(6);
foreach my $obj (@make_obj) {
  $fm->start and next;
  system("make -f Makefile $make_obj");
  $fm->finish();
}

Answer 2

分叉的另一种方法是在自己的线程中运行每个 make。

use threads;

my $max_threads = 5;

my @targets = qw(obj1.o obj2.o obj3.o ...);
while(@targets) {
    my $num_threads = threads->list(threads::running);
    if( $num_threads < $max_threads ) {
        my $target = shift @targets;
        threads->create(sub { return system "make $target" });
    }
}

不幸的是，我的手在两位左右挥舞。 首先是让循环静态等待，直到线程完成。 我相信这是使用threads::shared 的 cond_wait() 和信号量变量来完成的。

第二个是从 make 获取返回值，这样您就可以知道是否出现故障并停止构建。 为此，您必须 join() 每个线程才能获取 system() 的结果，即进程的退出代码。

抱歉仓促回复。 希望社区能够填补剩下的部分。

Answer 3

HPUX 上的 gnu make 没有 -j 标志吗？

http://hpux.connect.org.uk/hppd/hpux /Gnu/make-3.81/

Answer 4

使用 GNU Parallel 您可以编写：

parallel -j6 make -f Makefile obj{}.o ::: {1..500}

10 秒安装：

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

了解更多： http://www.gnu .org/software/parallel/parallel_tutorial.html https://www.youtube.com /playlist?list=PL284C9FF2488BC6D1

Answer 5

如果操作系统正确处理处理器间通信和调度，那么只要不存在相互依赖关系，您就应该能够将所有进程放入后台进程中。

如果它们都是独立的，我会发出一系列如下命令：

make -f Makefile obj1.o &
make -f Makefile obj2.o &
...
make -f Makefile objn.o &

对于依赖项，用双与号 (&&) 将它们串起来，以便依赖项不会启动，直到它的《父母》已经完结了。

我意识到这并不完全是您要求的解决方案，但这就是我解决问题的方式:)