linux，逗号分隔的单元格到行保留/聚合列

Question

这里有一个类似的问题，但对于 excel/vba Excel宏 - 逗号分隔的单元格到行保留/聚合列 因为我有一个大文件（> 300mb），这不是一个选项，因此我正在努力让它在 bash 中工作。

根据这些数据

 1   Cat1                 a,b,c
 2   Cat2                 d
 3   Cat3                 e
 4   Cat4                 f,g

我想将其转换为：

 1   Cat1                 a
 1   Cat1                 b
 1   Cat1                 c
 2   Cat2                 d
 3   Cat3                 e
 4   Cat4                 f
 4   Cat4                 g

Answer 1

cat > data << EOF
1   Cat1                 a,b,c
2   Cat2                 d
3   Cat3                 e
4   Cat4                 f,g
EOF

set -f                               # turn off globbing
IFS=,                                # prepare for comma-separated data
while IFS=
\t' read C1 C2 C3; do    # split columns at tabs
    for X in $C3; do                 # split C3 at commas (due to IFS)
        printf '%s\t%s\t%s\n' "$C1" "$C2" "$X"
    done
done < data

Answer 2

这看起来像是 awk 或 perl 的工作。

awk 'BEGIN { FS = OFS = "\t" }
     { split($3, a, ",");
       for (i in a) {$3 = a[i]; print} }'
perl -F'\t' -alne 'foreach (split ",", $F[2]) {
                       $F[2] = $_; print join("\t", @F)
                   }'

两个程序都基于相同的算法：以逗号分割第三列，并迭代各个组件，依次打印原始行以及第三列中的每个组件。