如何从大型文本文件中删除停用词？

Question

我有十亿个单词语料库，我以标量形式收集了这些语料库。我有一个 .regex 文件，其中包含我想要从数据（文本）中删除的所有停用词。

我不知道如何使用这个 .regex 文件，所以我创建了一个数组并将 .regex 文件的所有停用词存储在我的停用词数组中。

要删除停用词，我会执行以下操作：

grep { $scalarText =~ s/\b\Q$_\E\b/ /g } @stopList;

这需要很长时间才能执行。如何在 Perl 脚本中使用 .regex 文件来删除停用词？或者有没有更快的方法来删除停用词？

Answer 1

是的，我想你在那里做的事情非常慢，尽管有几个原因。我认为在从语料库中构建包含十亿个单词的字符串之前，您需要先处理停用词正则表达式。

我不知道 .regex 文件是什么，但我假设它包含一个合法的 Perl 正则表达式，您可以使用以下内容进行编译：

$stopword_string = `cat foo.regex`;
$stopword_rx     = qr/$stopword_string/;

这可能假设有一个 (?x)< /code> 开头。

但是，如果您的停用词文件是行列表，则您将需要执行类似以下操作：

chomp(@stopwords = `cat foo.regex`);

# if each stopword is an independent regex:
$stopword_string = join "|" => @stopwords;

# else if each stopword is a literal
$stopword_string = join "|" => map {quotemeta} @stopwords;

# now compile it (maybe add some qr//OPTS)
$stopword_rx     = qr/\b(?:$stopword_string)\b/;

警告

非常小心\b：它只会做您想要的事情如果第一个单词中的第一个字符和最后一个单词中的最后一个字符是字母数字（\w 字符），则认为上面的情况会发生。否则，它会断言你可能无意的东西。如果有可能，您需要更具体。前导 \b 需要变为 (?:(?<=\A)|(?<=\s))，尾随 \b 需要变为 (?=\s|\z)。这就是大多数人认为 \b 的意思，但事实并非如此。

完成此操作后，您应该在阅读时将停用词正则表达式应用于语料库。最好的方法是不首先将这些内容放入您的字符串中只需要稍后取出即可。

因此，与其这样做，不如

$corpus_text = `cat some-giant-file`;
$corpus_text =~ s/$stopword_rx//g;

这样做，

my $corpus_path = "/some/path/goes/here";
open(my $corpus_fh, "< :encoding(UTF-8)", $corpus_path)
    || die "$0: couldn't open $corpus_path: $!";

my $corpus_text = q##;

while (<$corpus_fh>) {
    chomp;  # or not
    $corpus_text .= $_ unless /$stopword_rx/;
}

close($corpus_fh)
    || die "$0: couldn't close $corpus_path: $!";

这比把东西放在那里要快得多，你只需要稍后再清除掉。

我上面使用的cat只是一个快捷方式。我不希望您实际调用一个程序，尤其是 cat，只是为了读取未经处理且不受干扰的单个文件。 ☺

Answer 2

您可能需要使用 Regexp::Assemble 来编译将 Perl 正则表达式列表合并为一个正则表达式。

Answer 3

我找到了一种更快的方法。为我节省了大约 4 秒。

my $qrstring = '\b(' . (join '|', @stopList) . ')\b';
$scalarText =~ s/$qrstring/ /g;

其中 stopList 是我所有单词的数组
scalarText 是我的整个文本。

如果您知道的话，有人可以告诉我更快的方法吗？