用于查找文件之间相似性的 Shell 脚本

Question

我有两个制表符分隔的文件，其中包含一个 ID 列和 20 个左右的变量。我想找到两个文件中都存在的ID。我要求的是与 bash 脚本“diff”相反的东西。任何建议表示赞赏。

Answer 1

工具 comm 可能就是您想要的 - 给定来自两个文件的排序输入，它可以告诉您哪些行仅在文件 A 中，哪些行在两个文件中都存在，哪些行仅在文件 B 中。例如，如果您有 file-a ，即：

17 p o i u
13 a b c d
14 q w e r t 

... 和 file-b ，即：

18 a s d f 
13 f g h i
7 z x c v 

您可以使用 comm 进行进程替换以下方式：

$ comm -1 -2 <(cut -d ' ' -f 1 file-a|sort) <(cut -d ' ' -f 1 file-b|sort)
13

-1 参数抑制仅在第一个文件中的内容，-2 会抑制仅在第二个文件中的内容。

Answer 2

对文件进行排序，然后您就可以使用

$ join sortedfile1.txt sortedfile2.txt

，并且您将获得连接的公共 ID 行。

Answer 3

cut -f1 文件 1 文件 2 |排序| uniq-d