使用 gnu parallel 处理带标题的 CSV 文件

Question

是否可以以将原始输入的第一行重复到每个子作业的 STDIN 的方式调用 gnu 并行？

我有一个 CSV 文件，顶部包含标题行。例如：

> cat large.csv
id,count
abc,123
def,456

我有一个可以按名称而不是位置提取列的工具：

> csv_extract large.csv count
123
456

我可以将值连续求和为：

> csv_extract large.csv count | awk '{ SUM += $1 } END { print SUM }'
579

我拥有的实际文件要大得多，并且操作比求和更复杂，但适用相同的原则。我想使用 gnuparallel 来处理该文件，但我不知道是否可以告诉 gnuparallel 为每个作业重复 CSV 标头。

理想情况下，我可以使用以下内容来运行该操作：

> cat large.csv | parallel --pipe --repeat-first-line "csv_extract /dev/stdin count | awk '{ SUM += $1 } END { print SUM }'"
579

我在上面编写了 --repeat-first-line 选项来表示我无法弄清楚的功能。我看过 YouTube 视频，并阅读了手册页，但我只是不知道如何做到这一点（如果可能的话）。

谢谢！

• 丹布

Answer 1

今天，您可以 --skip-first-line 并使用 echo 添加标头：

seq 10 | parallel --skip-first-line --pipe '(echo hea,der; cat) | my_prog'

在未来版本中，您将拥有选项“--header”，它将是一个正则表达式与标题末尾匹配（例如：'\n' 表示一行，'\n.*\n' 表示两行，或 '---' 表示第一行 ---）

-- 编辑 - -

最新版本的 GNU Parallel 现在可以执行以下操作：

parallel --pipe --header : my_program