在一个不在另一个文件中找到行的快速方法？

Question

我有两个大文件（一组文件名）。每个文件中约有30.000行。我正在尝试找到一种快速的方法来查找文件2中不存在的线路。

例如，如果这是 file1：

line1
line2
line3

，这是 file2：

line1
line4
line5

，那么我的 result/output 应该是：

line2
line3

此操作：

grep-- v -f file2 file1 ，

但是在我的大文件上使用时非常慢。

我怀疑使用 diff 有一个很好的方法，但是输出应该是 ，别无其他，我似乎找不到一个开关。

谁能帮助我使用Bash和Basic Linux二进制文件找到快速的方法？

编辑：要跟进我自己的问题，这是我到目前为止使用 diff >的最佳方法：

diff file2 file1 | grep '^>' | sed 's/^>\ //'

当然，必须有更好的方法？

Answer 1

comm 命令命令（“ common”的简短）可能是有用的 comm-比较两个分类的列线

#find lines only in file1
comm -23 file1 file2 

#find lines only in file2
comm -13 file1 file2 

#find lines common to both files
comm -12 file1 file2 

man 文件实际上是非常可读的。

Answer 2

您可以通过控制gnu diff 输出中的旧/新/未更改线的格式来实现这一目标：

diff --new-line-format="" --unchanged-line-format=""  file1 file2

输入文件应该对此进行排序以使其工作。使用 bash （和 zsh ），您可以使用Process替换＆lt;（）：

diff --new-line-format="" --unchanged-line-format="" <(sort file1) <(sort file2)

在上面的 new 中EM>和未更改的线被抑制，因此只输出了更改（即在您的情况下删除的线路）。您也可以使用其他解决方案所提供的一些 diff 选项，例如 -i 忽略案例或各种whitespace选项（ -e ， -b ， -v 等），以匹配不太严格。

---

说明

选项 - new-line-format ， - old-line-format and - 不变 - 字让您控制 diff 格式的差异，类似于 printf 格式指定器。这些选项格式 new （添加），旧（已删除）和 不变线。将一个设置为空“”防止该行的输出。

如果您熟悉 unified diff 格式，则可以部分重新创建以下方式：

diff --old-line-format="-%L" --unchanged-line-format=" %L" \
     --new-line-format="+%L" file1 file2

％l specifier是有问题的行，并且我们将每个行都带有“+”“” - “或“”，例如 diff -u
（请注意，它仅输出差异，缺少 --- +++ 和 @@ @@ 在每个分组更改的顶部） 。
您也可以使用它来做其他有用的事情％dn 。

---

diff 方法（以及其他建议 comm 和 join ）仅使用排序输入产生预期输出您可以使用＆lt;（sort ...）对定位。这是一个简单的 awk （nawk）脚本（受Konsolebox答案中链接到的脚本的启发），该脚本接受任意订购的输入文件，和 and 以他们的顺序输出丢失的行发生在File1中。

# output lines in file1 that are not in file2
BEGIN { FS="" }                         # preserve whitespace
(NR==FNR) { ll1[FNR]=$0; nl1=FNR; }     # file1, index by lineno
(NR!=FNR) { ss2[$0]++; }                # file2, index by string
END {
    for (ll=1; ll<=nl1; ll++) if (!(ll1[ll] in ss2)) print ll1[ll]
}

这将bia-bia-code> ll1 [] 的线数索引数组中的file1 line的整个内容以及file2 line的整个file2 incoptective arsociative arsociative arnay ss2 [ ] 。读取两个文件后，迭代 ll1 ，然后在中使用 in in in 在文件2中确定File1中的行是否存在。 （如果有重复的话，这将对 diff 方法具有不同的输出。）

如果文件足够大以存储它们都会引起内存问题在读取File2的过程中，只有file1和删除匹配项。

BEGIN { FS="" }
(NR==FNR) {  # file1, index by lineno and string
  ll1[FNR]=$0; ss1[$0]=FNR; nl1=FNR;
}
(NR!=FNR) {  # file2
  if ($0 in ss1) { delete ll1[ss1[$0]]; delete ss1[$0]; }
}
END {
  for (ll=1; ll<=nl1; ll++) if (ll in ll1) print ll1[ll]
}

以上将File1的整个内容存储在两个数组中，一个由行编号 ll1 [] 索引，一个由Line Content ss1 [] 索引。然后在读取文件2时，每个匹配行将从 ll1 [] 和 ss1 [] 中删除。最后，来自File1的其余线正在输出，并保留原始订单。

在这种情况下，有了所述问题，您还可以使用gnu split split 划分和征服（过滤是GNU扩展），重复运行使用File1的块和Reading File2每次完全：

split -l 20000 --filter='gawk -f linesnotin.awk - file2' < file1

请注意 - 的使用和放置含义 stdin 在 gawk 命令行。这是由 split 从file1中提供的，在20000行每发线的块中提供。

对于Non-GNU系统上的用户，几乎可以肯定您可以获得一个GNU Coreutils软件包，包括在OSX上作为 Apple Xcode 提供GNU diff ， awk 的工具，尽管只有POSIX/BSD split 而不是GNU版本。

Answer 3

就像Konsolebox建议的那样，如果您只添加 -f 选项，则海报GREP解决方案

grep -v -f file2 file1

实际上可以很好地工作（更快），以将模式视为固定字符串而不是正则表达式。我在我必须比较的一对〜1000行文件列表上验证了这一点。使用 -f ，它花费了0.031 s（真实），而没有将GREP输出重定向到 WC -L 时，它花费了2.278 s（real）。

这些测试还包括 -X 开关，该开关是解决方案的必要部分，以确保在File2包含与一部分但不匹配的一部分（但不全部）的一部分或多个线路的情况下确保完全准确性。文件1。

因此，不需要分类输入的解决方案是快速，灵活的（案例敏感性等）是：

grep -F -x -v -f file2 file1

这与所有版本的GREP不起作用，例如，它在MacOS中失败，其中文件1中的一行将即使是在文件2中不存在，如果它匹配另一个是它的子字符串，则显示为不存在。另外，您可以在macos上安装gnu grep 为了使用此解决方案。

Answer 4

如果您缺少“花式工具”，例如在某些最小Linux发行中，则有一个解决方案，只需 cat ， sort 和 uniq ：

cat includes.txt excludes.txt excludes.txt | sort | uniq --unique

测试：

seq 1 1 7 | sort --random-sort > includes.txt
seq 3 1 9 | sort --random-sort > excludes.txt
cat includes.txt excludes.txt excludes.txt | sort | uniq --unique

# Output:
1
2    

与 GREP 相比，这也相对相对。

Answer 5

使用 combine 来自 moreutils 软件包，一个支持不是，和，，或， XOR 操作

combine file1 not file2

，即给我file1中但不在file2中的行

或在file1中给我的行中的行减去file2

中的行中的行，请注意： combine> combine 在执行任何操作之前，请在两个文件中进行分类并找到唯一的行，但是 diff 却没有。因此，您可能会发现 diff 的输出和组合之间的差异。

因此，实际上，您说的是

file1和file2中找到不同的行

在

Answer 6

排序和差异的速度是多少？

sort file1 -u > file1.sorted
sort file2 -u > file2.sorted
diff file1.sorted file2.sorted

Answer 7

对我来说这似乎很快：

comm -1 -3 <(sort file1.txt) <(sort file2.txt) > output.txt

Answer 8

$ join -v 1 -t '' file1 file2
line2
line3

-t 如果您在某些行中有一个空间，请确保它比较整个行。

Answer 9

您可以使用Python：

python -c '
lines_to_remove = set()
with open("file2", "r") as f:
    for line in f.readlines():
        lines_to_remove.add(line.strip())

with open("f1", "r") as f:
    for line in f.readlines():
        if line.strip() not in lines_to_remove:
            print(line.strip())
'

Answer 10

使用FGREP或将-f选项添加到GREP可能会有所帮助。但是对于更快的计算，您可以使用尴尬。

您可以尝试其中一种尴尬方法：

Answer 11

我通常这样做的方式是使用 - 抑制common-lines flag，尽管注意到这仅在您以并排格式进行时起作用。

diff -y -suppress-common-lines file1.txt file2.txt

Answer 12

awk 基于基于任何排序的解决方案：

awk '! (__[$+_] += NR == FNR)' FS='\n' file2 file1 

Answer 13

要测试处理REGEXP Metachars，子字符串，空间，不敏感性，其他仅在情况下会有所不同的字符串，并且超过2个输入文件，我们需要一些不同的样本输入：

$ head input1 input2 input3
==> input1 <==
aAa
bBb
a.a
aa
BbB
AaA
ccc
ddd
E e E e

==> input2 <==
aaa
bb
b.b

==> input3 <==
ccc
dddd
e e e e

然后我们可以使用任何GREP来执行此操作：（或任何GREP：（

$ grep -iFxv -f input2 -f input3 input1
bBb
a.a
aa
BbB
ddd

或）如果您喜欢 GREP -IFXVF＆lt;（CAT Input2 Input3）input1 ）或任何尴尬：

$ awk '
    { lc = tolower($0) }
    NR==FNR { a[lc] = ( lc in a ? a[lc] ORS : "" ) $0; next }
    { delete a[lc] }
    END { for ( lc in a ) print a[lc] }
' input1 input2 input3
a.a
bBb
BbB
ddd
aa

最初是作为对如何打印其他文件中未发生的行？，但被移动到这里，因为这个问题似乎很可能被关闭为此，并且上述问题是我可以告诉的最好的案例否则，这里的现有答案不涵盖。