在 bash 中运行并行子进程的 bash 脚本的奇怪行为

Question

以下脚本用于在 bash 中运行并行子进程，与 在 bash 中并行运行有限数量的子进程？

#!/bin/bash
set -o monitor # means: run background processes in a separate processes...
N=1000
todo_array=($(seq 0 $((N-1))))
max_jobs=5
trap add_next_job CHLD
index=0
function add_next_job {
    if [[ $index -lt ${#todo_array[@]} ]]
    then
    do_job $index &
    index=$(($index+1))
    fi
}
function do_job {
    echo $1 start
    time=$(echo "scale=0;x=$RANDOM % 10;scale=5;x/20+0.05" |bc);sleep $time;echo $time
    echo $1 done
}
while [[ $index -lt $max_jobs ]] && [[ $index -lt ${#todo_array[@]} ]]
do
    add_next_job
done
wait

这项工作是在 0.05:0.05:5.00 中选择一个随机数，然后休眠那么长时间。

例如，当N=10时，样本输出

1 start
4 start
3 start
2 start
0 start
.25000
2 done
5 start
.30000
3 done
6 start
.35000
0 done
7 start
.40000
1 done
8 start
.40000
4 done
9 start
.05000
7 done
.20000
5 done
.25000
9 done
.45000
6 done
.50000
8 done

总共有30行。

但是对于大N，例如1000，结果可能会很奇怪。一次运行给出了2996行输出，其中998行带有start，999行带有done，999行带有float number。644和652在start中丢失，644在完毕。

这些测试在使用 bash 4.2.10(2) 的 Arch Linux 上运行。使用 bash 4.1.5(1) 在 debian stable 上也可以产生类似的结果。

编辑：我在 moreutils 和 GNU 并行中尝试了并行测试。moreutils 中的并行也有同样的问题。但是 GNU 并行工作得很好。

Answer 1

我认为这只是由于所有子进程继承相同的文件描述符并尝试并行附加到它。很少有两个进程竞争并且都在同一位置开始追加并且一个进程覆盖另一个进程。这本质上与其中一条评论所暗示的相反。

您可以通过管道重定向来轻松检查这一点，例如使用 your_script | tee 文件，因为管道具有有关由小于特定大小的单个 write() 调用传递的数据原子性的规则。

SO 还有另一个与此类似的问题（我认为它只涉及两个线程都快速写入数字），其中也对此进行了解释，但我找不到它。

Answer 2

我唯一能想象的就是你的资源即将耗尽；检查“ulimit -a”并查找“最大用户进程”。如果这少于您想要生成的进程数，您最终会遇到错误。

尝试将您的用户（如果您不是以 root 身份运行）的限制设置为更高的限制。在 Redhatish 系统上，您可以通过以下方式执行此操作：

将该行添加到 /etc/pam.d/login：

session required pam_limits.so

将以下内容添加到 /etc/security/limits.conf：

myuser soft nproc 1000
myuser hard nproc 1024

其中“myuser”是被授予权限的用户名，1000 “最大用户进程数”的默认值和最大用户进程数 1024。软限制和硬限制不应相差太大。它只说明允许用户在 shell 中使用“ulimit”命令自行设置的内容。
因此，myuser 将以总共 1000 个进程（包括 shell、所有其他生成的进程）开始，但可以使用 ulimit 将其提高到 1024：

$ ulimit -u
1000
$ ulimit -u 1024
$ ulimit -u
1024
$ ulimit -u 2000
-bash: ulimit: max user processes: cannot modify limit: Operation not permitted

不需要重新启动，它会立即生效。

祝你好运！
亚历克斯.