如果字段重复则删除行

Question

如果第一个字段重复，则寻找 awk（或 sed）单行代码以从输出中删除行。

我见过的删除重复行的一个例子是：

awk 'a !~ $0; {a=$0}'

尝试使用它作为基础，但没有运气（我认为将 $0 更改为 $1 可以解决问题，但似乎不起作用）。

Answer 1

awk '{ if (a[$1]++ == 0) print $0; }' "$@"

这是关联数组的标准（非常简单）用法。

Answer 2

这是删除重复项的方法

awk '!_[$1]++' file

Answer 3

如果您愿意使用 Perl：

perl -ane 'print if ! $a{$F[0]}++' file

-a 会自动将行分割到 @F 数组中，该数组的索引从 0 开始
%a 哈希会记住第一个字段是否已被看到

---

此相关解决方案假设您的字段分隔符是逗号，而不是空格

perl -F, -ane 'print if ! $a{$F[0]}++' file

Answer 4

它打印重复项的唯一值和单个值

awk '!a[$1]++' file_name