创建新列，其中包含使用bash中现有列的串联

Question

我有一个大的tsv.gz文件（40GB），我想从现有变量col3中提取一个字符串，将其存储在新变量new_var（放置在开始）并保存所有新文件。 我是新来的示例，

col1  col2  col3  col4
1  positive  12:1234A  100
2  negative  10:9638B  110
3  positive  5:0987A  100
4  positive  8:5678A  170

数据“ old_file.tsv.gz”所需的数据“ new_file.tsv.gz”

New_var  col1  col2  col3  col4
12  1  positive  12:1234A  100
10  2  negative  10:9638B  110
5  3  positive  5:0987A  100
8  4  positive  8:5678A  170

我是bash中的新手，所以我尝试了多件事，但我被卡住了，我尝试过

zcat old_file.tsv.gz | awk '{print New_var=$3,$0 }' | awk '$1 ~ /^[0-9]:/{print $0 | (gzip -c > new_file.tsv.gz) }'

我觉得我有多个问题。 {print new_var = $ 3，$ 0}确实创建了col3的副本，但不会重命名它。然后，当我添加代码的最后一部分awk'$ 1〜 /^[0-9]： /{打印$ 0 | （gzip -c＆gt; new_file.tsv.gz）}' ...好吧，没有什么都没有出现（如果我忘记了括号，但找不到问题）。 我也不确定这种方式是否是最好的方法。 有什么想法使它起作用吗？

Answer 1

在单独的文件中制作一个尴尬脚本（用于可读性），例如1.awk：

{ if (NR > 1) { 
    # all data lines 
    split($3, a, ":");  
    print a[1], $1, $3, $3, $4; 
  } else {
    # header line
    print "new_var", $1, $2, $3, $4;
  } 
}

现在处理输入（例如1.csv.gz），用awk文件：

zcat 1.csv.gz | awk -f 1.awk | gzip -c > 1_new.csv.gz

Answer 2

我建议使用一个选项卡（\ t）和：作为输入字段分隔器：

awk 'BEGIN { FS="[\t:]"; OFS="\t" }
     NR==1 { $1="New_var" OFS $1 }
     NR>1  { $0=$3 OFS $0 }
     { print }'

作为一行：

awk 'BEGIN{ FS="[\t:]"; OFS="\t" } NR==1{ $1="New_var" OFS $1 } NR>1{ $0=$3 OFS $0 } { print }'

请参阅： 8强大的内置变量 - fs ， ofs ，rs，ors， nr ，nf，fileName，fnr