搜索非常大的文本文件和将大量术语中的任何一个与另一个文件相匹配的输出行的最有效方法

Question

我有大约 1500 万行文件。我还有另一个文件，大约有 500,000 行。我想保留大文件中特定字段与第二个文件中的行匹配的行。大文件以制表符分隔。

例如，您将如何在 Perl 中执行此操作？

Answer 1

您可能会受益于使用 csv 模块解析大文件中的数据。您必须自己做出判断，这也可能是矫枉过正，而且带来的麻烦超过了它的价值。请注意，下面使用的 Text::CSV_XS 可能会更改您的数据以符合 csv 标准，并且有很多选项可以调整输出的外观。

这是一个可能帮助您入门的基本脚本。

use strict;
use warnings;
use autodie;
use Text::CSV_XS;

open my $lookup, '<', "lookupfile";
my %lookup;
while (<$lookup>) {
    next if /^\s*$/;   # remove empty lines
    chomp;             # remove newline
    $lookup{$_} = 1;
}
close $lookup;

my $csv = Text::CSV_XS->new ({
    binary    => 1, 
    eol       => $/,
    sep_char  => "\t",
});
open my $bigfile, '<', 'bigfile';
while (my $row = $csv->getline ($bigfile)) {
    if (defined ($lookup{$row->[0]})) {
        $csv->print(\*STDOUT, $row);
    }
}

如果您确信数据不会包含嵌入的选项卡，则可以简单地拆分选项卡上的行，而不是使用 Text::CSV_XS：

while (<$bigfile>) {
    chomp;
    my @row = split /\t/;
    if (defined $lookup{$row[0]}) {
        print "$_\n";
    }
}

Answer 2

我将填充一个以第二个文件中的值为键的哈希值。将值设置为 1。

然后，我会执行一个简单的 while() 循环，在关键字段的哈希中进行查找。如果哈希中有条目，则打印该行。否则继续。

Perl 的散列查找非常快，执行 1500 万次应该没问题。