如何用AWK删除部分重复行？

Question

我有包含此类重复行的文件，其中只有最后一个字段不同：

OST,0202000070,01-AUG-09,002735,6,0,0202000068,4520688,-1,0,0,0,0,0,55
ONE,0208076826,01-AUG-09,002332,316,3481.055935,0204330827,29150,200,0,0,0,0,0,5
ONE,0208076826,01-AUG-09,002332,316,3481.055935,0204330827,29150,200,0,0,0,0,0,55
OST,0202000068,01-AUG-09,003019,6,0,0202000071,4520690,-1,0,0,0,0,0,55

我需要删除该行的第一次出现并保留第二个。

我已经尝试过：

awk '!x[$0]++ {getline; print $0}' file.csv

但它没有按预期工作，因为它还删除了非重复行。

Answer 1

#!/bin/awk -f
{
    s = substr($0, 0, match($0, /,[^,]+$/))
    if (!seen[s]) {
        print $0
        seen[s] = 1
    }
}

Answer 2

如果您的近似重复项始终相邻，您只需与前一个条目进行比较即可避免创建潜在的巨大关联数组。

#!/bin/awk -f
{
    s = substr($0, 0, match($0, /,[^,]*$/))
    if (s != prev) {
        print prev0
    }
    prev = s
    prev0 = $0
} 
END {
    print $0
}

编辑：更改了脚本，以便打印一组近似重复项中的最后一个（不需要 tac）。

Answer 3

作为一般策略（尽管我上过 Aho 课程，但我并不是 AWK 专业人士），您可以尝试：

1. 连接除
   最后一个。
2. 使用该字符串作为哈希的键。
3. 将整行存储为值
   到一个哈希值。
4. 当你处理完所有的线后，
   循环打印哈希值
   价值观。

这不是 AWK 特定的，我无法轻松提供任何示例代码，但这是我首先尝试的。