如何从古腾堡计划文本中删除页眉/页脚？

Question

我尝试过各种方法来从古腾堡项目文本中剥离许可证，以用作语言学习项目的语料库，但我似乎无法想出一种无监督的可靠方法。 到目前为止，我想出的最好的启发式方法是删除前 28 行和最后 398 行，这对大量文本都有效。 关于如何自动删除文本的任何建议（对于许多文本来说非常相似，但每种情况下都有细微的差异，以及一些不同的模板），以及如何验证文本已准确剥离，将非常有用。

Answer 1

多年来，我还想要一个工具来剥离古腾堡项目的页眉和页脚，以便进行自然语言处理，而不会因与 etxt 混合的样板文件而污染分析。 读完这个问题后，我终于抽出手指并编写了一个 Perl 过滤器，您可以将其通过管道传输到任何其他工具中。

它是使用每行正则表达式作为状态机制作的。 它的编写很容易理解，因为速度对于 etext 的典型大小来说不是问题。 到目前为止，它适用于我这里的几十个电子文本，但在野外肯定还有更多的变化需要添加。 希望代码足够清晰，任何人都可以添加：

#!/usr/bin/perl

# stripgutenberg.pl < in.txt > out.txt
#
# designed for piping
# Written by Andrew Dunbar (hippietrail), released into the public domain, Dec 2010

use strict;

my $debug = 0;

my $state = 'beginning';
my $print = 0;
my $printed = 0;

while (1) {
    $_ = <>;

    last unless $_;

    # strip UTF-8 BOM
    if ($. == 1 && index($_, "\xef\xbb\xbf") == 0) {
        $_ = substr($_, 3);
    }

    if ($state eq 'beginning') {
        if (/^(The Project Gutenberg [Ee]Book( of|,)|Project Gutenberg's )/) {
            $state = 'normal pg header';
            $debug && print "state: beginning -> normal pg header\n";
            $print = 0;
        } elsif (/^$/) {
            $state = 'beginning blanks';
            $debug && print "state: beginning -> beginning blanks\n";
        } else {
            die "unrecognized beginning: $_";
        }
    } elsif ($state eq 'normal pg header') {
        if (/^\*\*\*\ ?START OF TH(IS|E) PROJECT GUTENBERG EBOOK,? /) {
            $state = 'end of normal header';
            $debug && print "state: normal pg header -> end of normal pg header\n";
        } else {
            # body of normal pg header
        }
    } elsif ($state eq 'end of normal header') {
        if (/^(Produced by|Transcribed from)/) {
            $state = 'post header';
            $debug && print "state: end of normal pg header -> post header\n";
        } elsif (/^$/) {
            # blank lines
        } else {
            $state = 'etext body';
            $debug && print "state: end of normal header -> etext body\n";
            $print = 1;
        }
    } elsif ($state eq 'post header') {
        if (/^$/) {
            $state = 'blanks after post header';
            $debug && print "state: post header -> blanks after post header\n";
        } else {
            # multiline Produced / Transcribed
        }
    } elsif ($state eq 'blanks after post header') {
        if (/^$/) {
            # more blank lines
        } else {
            $state = 'etext body';
            $debug && print "state: blanks after post header -> etext body\n";
            $print = 1;
        }
    } elsif ($state eq 'beginning blanks') {
        if (/<!-- #INCLUDE virtual=\"\/include\/ga-books-texth\.html\" -->/) {
            $state = 'header include';
            $debug && print "state: beginning blanks -> header include\n";
        } elsif (/^Title: /) {
            $state = 'aus header';
            $debug && print "state: beginning blanks -> aus header\n";
        } elsif (/^$/) {
            # more blanks
        } else {
            die "unexpected stuff after beginning blanks: $_";
        }
    } elsif ($state eq 'header include') {
        if (/^$/) {
            # blanks after header include
        } else {
            $state = 'aus header';
            $debug && print "state: header include -> aus header\n";
        }
    } elsif ($state eq 'aus header') {
        if (/^To contact Project Gutenberg of Australia go to http:\/\/gutenberg\.net\.au$/) {
            $state = 'end of aus header';
            $debug && print "state: aus header -> end of aus header\n";
        } elsif (/^A Project Gutenberg of Australia eBook$/) {
            $state = 'end of aus header';
            $debug && print "state: aus header -> end of aus header\n";
        }
    } elsif ($state eq 'end of aus header') {
        if (/^((Title|Author): .*)?$/) {
            # title, author, or blank line
        } else {
            $state = 'etext body';
            $debug && print "state: end of aus header -> etext body\n";
            $print = 1;
        }
    } elsif ($state eq 'etext body') {
        # here's the stuff
        if (/^<!-- #INCLUDE virtual="\/include\/ga-books-textf\.html" -->$/) {
            $state = 'footer';
            $debug && print "state: etext body -> footer\n";
            $print = 0;
        } elsif (/^(\*\*\* ?)?end of (the )?project/i) {
            $state = 'footer';
            $debug && print "state: etext body -> footer\n";
            $print = 0;
        }
    } elsif ($state eq 'footer') {
        # nothing more of interest
    } else {
        die "unknown state '$state'";
    }

    if ($print) {
        print;
        ++$printed;
    } else {
        $debug && print "## $_";
    }
}

Answer 2

你没有开玩笑。 就好像他们试图让这项工作由人工智能完成一样。 我只能想到两种方法，但都不是完美的。

1) 用 Perl 等语言建立一个脚本来解决最常见的模式（例如，查找短语“由……产生”，继续向下到下一个空行并在那里剪切），但放入大量关于什么是的断言预期的（例如下一个文本应该是标题或作者）。 这样，当模式失败时，您就会知道。 模式第一次失败时，请手动完成。 第二次，修改脚本。

2) 尝试亚马逊的 Mechanical Turk。

Answer 3

R 中的 gutenbergr 包似乎在删除标头方面做得很好，包括标头“官方”末尾之后的垃圾。

首先，您需要安装 R/Rstudio，然后

install.packages('gutenbergr')
library(gutenbergr)
t <- gutenberg_download('25519')  # give it the id number of the text

strip_headers arg 默认为 T。
您可能还想删除插图：

library(data.table)
t <- as.data.table(t)  # I hate tibbles -- datatables are easier to work with
head(t)  # get the column names

# filter out lines that are illustrations and joins all lines with a space
# the \\[ searches for the [ character, the \\ are used to 'escape' the special [ character
# the !like() means find rows where the text column is not like the search string
no_il <- t[!like(text, '\\[Illustration'), 'text']
# collapse the text into a single character string
t_cln <- do.call(paste, c(no_il, collapse = ' '))

还有 Python 中的 gutenberg 包，现在已存档且难以安装，以及 gutenberg_cleaner Python 包，但似乎工作得不太好。

Answer 4

我还试图找出一种方法来清理古腾堡项目文本文件以进行文本分析，但我使用朱莉娅，我可能只是想重新发明轮子。 所以我想知道是否可以总结清理古腾堡项目文件的想法/规则，以便任何人都可以用任何语言实现它们，因为我发现了各种不错的程序，但在互联网上没有通用的解决方案。
到目前为止，我发现所有文本文件的末尾似乎都用类似于以下的标准行很好地标记了
“**** 古腾堡项目电子书结束......”。
然而，查找实际文本的开头的情况有所不同，似乎没有标准标记（在某些情况下根本没有标记行“*** ...”）。
然而，标题、作者等元数据是以标准方式编写的 - 例如：“标题：...”。 所以我正在尝试利用这些信息。
一种可能性是找到标题出现的最后一行（在前几十行内），在该标题之后是“真实文本”......我会尽力更新这个答案。