需要有关使用 AWK / sort / uniq 从简单文本文件中删除第一列中具有相同值的行的提示帮助

Question

我有一堆文本文件，其中列 1 和列 2 中包含以下内容（用空格分隔）：

address0 data0

address1 data1

。

。

。

地址N 数据N

所有数据值都是唯一的（随机），但某些地址值是重复的。如何使用 AWK / sort / uniq 删除具有已指定地址的行？

基本上，无论关联的数据是什么，文本文件中都不应该有重复的地址。

Answer 1

awk '
    $1 in seen {next}
    {print; seen[$1] = 1}
' file ...

Answer 2

排序 -k1 你的文件 | awk '{ if ($1 != last_address_seen) {print $0; last_address_seen=$1}}'

Answer 3

sort -k1 -u your_file > outputfile

大多数 UNIX 排序命令将支持 -u 选项，该选项将仅保留所有键上比较相等的两行中的第一行。