shell 脚本中的并行处理，“pid 不是此 shell 的子进程”

Question

我有一个关于 shell 脚本并行处理的问题。我有一个程序我的 程序，我希望在循环中循环运行多次。该程序基本上是这样的：

MYPATHDIR=`ls $MYPATH`
for SUBDIRS in $MYPATHDIR; do
  SUBDIR_FILES=`ls $MYPATH/$SUBDIRS`
  for SUBSUBDIRS in $SUBDIR_FILES; do
    find $MYPATH/$SUBDIRS/$SUBSUBDIRS | ./myProgram $MYPATH/$SUBDIRS/outputfile.dat
  done
done

我想做的是利用并行处理。因此，我尝试在中间行中立即启动所有 myPrograms：

(find $MYPATH/$SUBDIRS/$SUBSUBDIRS | ./myProgram $MYPATH/$SUBDIRS/outputfile.dat &)

但是，这同时开始了对 myProgram 的所有 300 个左右的调用，导致 RAM 问题等

。想要做的是并行运行内部循环中每次出现的 myProgram ，但要等待所有这些完成，然后再继续下一个外部循环迭代。基于这个问题的答案< /a>，我尝试了以下操作：

for SUBDIRS in $MYPATHDIR; do
  SUBDIR_FILES=`ls $MYPATH/$SUBDIRS`
  for SUBSUBDIRS in $SUBDIR_FILES; do
    (find $MYPATH/$SUBDIRS/$SUBSUBDIRS | ./myProgram $MYPATH/$SUBDIRS/outputfile.dat &)
  done
  wait $(pgrep myProgram)   
done

但我收到以下警告/错误，重复多次：

./myScript.sh: line 30: wait: pid 1133 is not a child of this shell

...并且所有 myPrograms 都像以前一样立即启动。

我做错了什么？我可以做什么来实现我的目标？谢谢。

Answer 1

() 调用一个子 shell，然后该子 shell 调用 find/myprogram，因此您正在处理“孙子”进程。你不能侍候孙子，只能侍候直系后裔（又名孩子）。

Answer 2

您可能会发现 GNU Parallel 很有用。

parallel -j+0 ./myProgram ::: $MYPATH/$SUBDIRS/*

这将并行运行与 ./myProgram 一样多的 CPU 内核。

Answer 3

要等待非子进程，您可以观察 proc 文件系统，

while [ -e /proc/$pid ]; do sleep 1; done

如果 pid 进程终止，这可能会产生误报
并且另一个进程立即采用相同的 pid

修复：还要检查进程启动时间

_wait() {
  # wait for non-child process
  local pid=$1
  # process start time
  local pst=$(stat -c%X /proc/$pid 2>/dev/null || true)
  [ -z "$pst" ] && return
  while [ "$(stat -c%X /proc/$pid 2>/dev/null || true)" == $pst ]; do sleep 1; done
}

_wait 12345