解决执行 Perl 脚本时出现内存不足错误

Question

我正在尝试根据英语维基百科转储中找到的前 100K 个单词构建一个 n-gram 语言模型。我已经使用 Java 编写的修改后的 XML 解析器提取了纯文本，但需要将其转换为词汇文件。

为了做到这一点，我找到了一个 perl 脚本，据说可以完成这项工作，但缺乏如何执行的说明。不用说，我是 Perl 的新手，这是我第一次遇到使用它的需要。

当我运行此脚本时，在两台具有 4GB RAM 并运行 Ubuntu 10.04 和 10.10 的独立双核计算机上的 7.2GB 文本文件上使用此脚本时，出现内存不足错误。

当我联系作者时，他说这个脚本在 4GB RAM 的 MacBook Pro 上运行良好，当使用 perl 5.12 在 6.6GB 文本文件上执行时，总内存使用量约为 78 MB。作者还说该脚本逐行读取输入文件并在内存中创建一个哈希图。

脚本是：

#! /usr/bin/perl

use FindBin;
use lib "$FindBin::Bin";

use strict;
require 'english-utils.pl';

## Create a list of words and their frequencies from an input corpus document
## (format: plain text, words separated by spaces, no sentence separators)

## TODO should words with hyphens be expanded? (e.g. three-dimensional)

my %dict;
my $min_len = 3;
my $min_freq = 1;

while (<>) {

    chomp($_);
    my @words = split(" ", $_);

    foreach my $word (@words) {

        # Check validity against regexp and acceptable use of apostrophe

        if ((length($word) >= $min_len) && ($word =~ /^[A-Z][A-Z\'-]+$/) 
        && (index($word,"'") < 0 || allow_apostrophe($word))) {
            $dict{$word}++;
        }
    }

}

# Output words which occur with the $min_freq or more often

foreach my $dictword (keys %dict) {
    if ( $dict{$dictword} >= $min_freq ) {
        print $dictword . "\t" . $dict{$dictword} . "\n";
    }
}

我通过 mkvocab.pl corpus.txt 从命令行执行此脚本

包含的额外脚本只是一个正则表达式脚本，用于测试撇号的位置以及它们是否符合英语语法规则。

我认为内存泄漏是由于版本不同造成的，因为我的机器上安装的是 5.10。所以我升级到5.14，但错误仍然存​​在。根据 free -m，我的系统上大约有 1.5GB 可用内存。

由于我完全不熟悉语言的语法和结构，您能否指出问题所在以及问题存在的原因以及如何解决它。

Answer 1

如果单词中有一些重复，例如 the 出现 17,000 次等，则可以将 7.2Gb 文件加载到哈希中。不过，这似乎相当多。

您的脚本假定文件中的行适当长。如果您的文件不包含换行符，您将把整个文件加载到 $_ 中的内存中，然后使用 split 将内存负载加倍，然后添加相当多的内容更多地进入你的哈希。这会给任何系统带来压力。

一种想法可能是使用空格 " " 作为输入记录分隔符。它的作用与您已经使用 split 所做的差不多，只是它会保留其他空白字符，并且不会漂亮地修剪多余的空白。例如：

$/ = " ";
while (<>) {
    for my $word ( split ) {  # avoid e.g. "foo\nbar" being considered one word
        if (
              (length($word) >= $min_len) &&
              ($word =~ /^[A-Z][A-Z\'-]+$/) &&
              (index($word,"'") < 0 || allow_apostrophe($word))
        ) {
            $dict{$word}++;
        }
    }
}

假设单词之间有空格（而不是制表符或换行符），这将允许以一口大小的块读取非常长的行。

Answer 2

尝试运行

dos2unix corpus.txt

您可能正在将整个文件作为一行读取...