使用 NLTK 将分词器组合成语法和解析器

Question

我正在阅读 NLTK 书，但我似乎无法做一些看似构建体面语法的自然第一步的事情。

我的目标是为特定的文本语料库构建语法。

（最初的问题：我是否应该尝试从头开始学习语法，还是应该从预定义的语法开始？如果我应该从另一种语法开始，对于英语来说，哪种语法比较好？）

假设我有以下简单的语法：

simple_grammar = nltk.parse_cfg("""
S -> NP VP
PP -> P NP
NP -> Det N | Det N PP
VP -> V NP | VP PP
Det -> 'a' | 'A'
N -> 'car' | 'door'
V -> 'has'
P -> 'in' | 'for'
 """);

这个语法可以解析一个非常简单的句子，例如：

parser = nltk.ChartParser(simple_grammar)
trees = parser.nbest_parse("A car has a door")

现在我想扩展这个语法来处理带有其他名词和动词的句子。如何将这些名词和动词添加到我的语法中，而无需在语法中手动定义它们？

例如，假设我希望能够解析句子“汽车有轮子”。我知道提供的分词器可以神奇地找出哪些单词是动词/名词等。如何使用分词器的输出告诉语法“wheels”是名词？

Answer 1

您可以在文本上运行词性标注器，然后调整语法以适用于词性标记而不是单词。

> text = nltk.word_tokenize("A car has a door")
['A', 'car', 'has', 'a', 'door']

> tagged_text = nltk.pos_tag(text)
[('A', 'DT'), ('car', 'NN'), ('has', 'VBZ'), ('a', 'DT'), ('door', 'NN')]

> pos_tags = [pos for (token,pos) in nltk.pos_tag(text)]
['DT', 'NN', 'VBZ', 'DT', 'NN']

> simple_grammar = nltk.CFG.fromstring("""
  S -> NP VP
  PP -> P NP
  NP -> Det N | Det N PP
  VP -> V NP | VP PP
  Det -> 'DT'
  N -> 'NN'
  V -> 'VBZ'
  P -> 'PP'
  """)

> parser = nltk.ChartParser(simple_grammar)
> tree = parser.parse(pos_tags)

Answer 2

我知道这是一年后的事了，但我想补充一些想法。

我采用了很多不同的句子，并用我正在从事的项目的词性来标记它们。从那里，我按照 StompChicken 的建议进行操作，从元组（单词、标签）​​中提取标签，并将这些标签用作“终端”（当我们创建一个完全标记的句子时，树的底部节点）。

最终，这不符合我在名词短语中标记中心名词的愿望，因为我无法将中心名词“单词”拉入语法中，因为语法只有标签。

因此，我所做的是使用（单词，标签）元组集来创建标签字典，其中带有该标签的所有单词作为该标签的值。然后我将此字典打印到 screen/grammar.cfg（上下文无关语法）文件中。

我用来打印它的表单与通过加载语法文件（parser = nltk.load_parser('grammar.cfg')）设置解析器完美配合。它生成的其中一行如下所示：

VBG -> “击剑”| “敲击”| “金额”| “living”...超过 30 个单词...

所以现在我的语法将实际单词作为终结符，并分配与 nltk.tag_pos 相同的标签。

希望这可以帮助任何想要自动标记大型语料库并且仍然将实际单词作为语法中的终端的人。

import nltk
from collections import defaultdict

tag_dict = defaultdict(list)

...
    """ (Looping through sentences) """

        # Tag
        tagged_sent = nltk.pos_tag(tokens)

        # Put tags and words into the dictionary
        for word, tag in tagged_sent:
            if tag not in tag_dict:
                tag_dict[tag].append(word)
            elif word not in tag_dict.get(tag):
                tag_dict[tag].append(word)

# Printing to screen
for tag, words in tag_dict.items():
    print tag, "->",
    first_word = True
    for word in words:
        if first_word:
            print "\"" + word + "\"",
            first_word = False
        else:
            print "| \"" + word + "\"",
    print ''

Answer 3

解析是一个棘手的问题，很多事情都可能出错！

这里（至少）需要三个组件，一个分词器、一个标记器，最后是解析器。

首先，您需要将运行文本标记为标记列表。这就像将输入字符串拆分为空格一样简单，但如果您要解析更一般的文本，您还需要处理数字和标点符号，这并不简单。例如，句子结尾的句点通常不被视为其所附单词的一部分，但标记缩写的句点通常被视为。

当您有输入标记列表时，您可以使用标记器来尝试确定每个单词的 POS，并使用它来消除输入标记序列的歧义。这有两个主要优点：首先，它加快了解析速度，因为我们不再需要考虑由不明确的单词许可的替代假设，因为词性标注器已经做到了这一点。其次，它改进了未知单词的处理，即。语法中不存在的单词，还可以为这些单词分配一个标签（希望是正确的标签）。以这种方式组合解析器和标记器是很常见的。

然后，词性标签将构成语法中的前置终结符。前置终结符是产生式的左侧，只有终结符作为其右侧。即在N->中“房子”，V-> N 和 V 是前置终结符。具有句法的语法是相当常见的，双方只有非终结符、产生式和词汇产生式，一个非终结符指向一个终结符。这在大多数情况下都具有语言意义，并且大多数 CFG 解析器要求语法采用这种形式。然而，人们可以通过从 RHS 中任何带有非终端的终端创建“虚拟产生式”来以这种方式表示任何 CFG。

如果您想在语法中比标记器输出的内容进行更多（或更少）细粒度的标记区分，则可能需要在词性标记和预终结符之间进行某种映射。然后，您可以使用标记器的结果初始化图表，即。跨越每个输入标记的适当类别的被动项目。遗憾的是我不知道 NTLK，但我确信有一个简单的方法可以做到这一点。当图表被播种时，解析可以正常继续，并且可以以常规方式提取任何解析树（也包括单词）。

然而，在大多数实际应用中，您会发现解析器可以返回几种不同的分析，因为自然语言是高度模糊的。我不知道您要解析哪种文本语料库，但如果它是类似自然语言的内容，您可能必须构建某种解析选择模型，这将需要一个树库，即解析树的集合大小从几百到几千个解析不等，这一切都取决于您的语法以及您需要的结果的准确程度。给定这个树库，人们可以自动推断出与其相对应的 PCFG。然后，PCFG 可以用作对解析树进行排名的简单模型。

所有这些都需要您自己做很多工作。你用解析结果做什么？您是否查看过 NTLK 或其他软件包（例如 StanleyParser 或 BerkeleyParser）中的其他资源？