使用 GNU 并行分割命令行参数

Question

使用GNU并行：http://www.gnu.org/software/parallel /

我有一个需要两个参数的程序，例如

$ ./prog file1 file2
$ ./prog file2 file3
...
$ ./prog file23456 file23457

我正在使用生成文件名对的脚本，但这会带来问题，因为脚本的结果是单个字符串 - 而不是一对。像：

$ ./prog "file1 file2"

GNU并行似乎有很多技巧，我想知道是否有一个用于围绕分隔符分割文本的技巧：

$ generate_file_pairs | parallel ./prog ?  
  # where ? is text under consideration, like "file1 file2"

简单的解决方法是在prog中手动分割参数，但我会想知道 GNU 并行是否可能。

Answer 1

您可能正在寻找--colsep。

generate_file_pairs | parallel --colsep ' ' ./prog {1} {2}  

阅读manparallel了解更多信息。如果您还没有观看介绍视频，请观看http://www.youtube.com/watch?v=OpaiGYxkSuQ< /a>

Answer 2

很晚了，但我经常遇到这个问题，并找到了一个很好的简单解决方案，

在将 arg 列表传递给并行之前，只需用换行符替换所有空格即可。我发现 tr 对于此类内容来说是最快的

不工作

echo "1 2 3 4 5"  | parallel echo --
-- 1 2 3 4 5

工作

echo "1 2 3 4 5" | tr ' ' '\n' | parallel echo --
-- 1
-- 2
-- 3
-- 4
-- 5

---

Protip：早于 实际上运行并行命令时，我做了两件事来检查参数是否已正确分割。

1. 在 bash 命令前面添加 echo 。这意味着最终将执行的任何命令都将被打印出来供您首先检查
2. 在回显中添加一个标记，这将检查并行分割是否实际工作

---

>请注意，这对于小/中参数列表最有效。如果参数列表非常大，可能最好只使用 for 循环来回显每个参数以并行

Answer 3

您正在寻找并行的 -n 选项。这就是您要查找的内容：

./generate_file_pairs | parallel -n 2 ./prog {}

摘自 GNU 并行文档：

-n max-args
    Use at most max-args arguments per command line. Fewer than max-args 
    arguments will be used if the size (see the -s option) is exceeded, 
    unless the -x option is given, in which case GNU parallel will exit.

Answer 4

Parallel 的手册中说：

如果没有给出命令，则执行输入行...GNU Parallel 通常可以用作 xargs 或 cat | 的替代品。 bash。

因此，尝试一下：

generate command | parallel

尝试理解以下输出：

for i in {1..5};do echo "echo $i";done | parallel