如何使用 unix shell 脚本比较基于某些列的两个文件

Question

我有两个文件，即 file1 和 file2，其中都有一些相似和不同的数据。我想根据第 1 列和第 2 列提取具有不同数据的数据。示例文件就像这样。

文件 1：

COL1        COL2   COL3
fruits      apple    50
fruits      mango    60
fruits      kiwi     35
vegetable   tomato   20
vegetable   brinjal  30

文件 2：

COL1        COL2   COL3
fruits      apple    50
fruits      orange   25
vegetable   tomato   20
vegetable   potato   25
sauce       chilly   78

输出应如下所示：

COL1        COL2     COL3
fruits      mango    60
fruits      kiwi     35
vegetable   brinjal  30

提前致谢！

Answer 1

您想要集合算术术语中所谓的差异。我将使用 GNU AWK 来完成此任务，如下所示，让 file1.txt 内容为

fruits      apple    50
fruits      mango    60
fruits      kiwi     35
vegetable   tomato   20
vegetable   brinjal  30

file2.txt 内容，

fruits      apple    50
fruits      orange   25
vegetable   tomato   20
vegetable   potato   25
sauce       chilly   78

然后

awk '(FNR==NR){arr[$1,$2]=$0}(FNR!=NR){delete arr[$1,$2]}END{for(i in arr){print arr[i]}}' file1.txt file2.txt

输出

fruits      kiwi     35
fruits      mango    60
vegetable   brinjal  30

解释：我使用数组arr，当浏览第一个文件（FNR==NR）时，我只需将arr的键值设置为第一个和第二个的串联列到整行($0)，除了第一个文件 (FNR!=NR) 之外的所有文件中，我确实删除了与之前从 arr 中以相同方式制作的密钥使用delete，请注意，使用delete与不存在的键没有任何问题。处理所有文件后，我使用 for 循环从 arr 打印值。这可能与两个以上的文件一起使用，在这种情况下，效果与在输入第二个和下一个文件之前将它们连接在一起相同。 免责声明此解决方案假设您不关心输出中的行顺序

（在 gawk 4.2.1 中测试）