如何从NLTK自带的样本语料中提取单词？

Question

NLTK 附带了一些语料库样本，位于： http://nltk.googlecode.com/svn/trunk/nltk_data/index.xml

我只想有没有编码的文本。我不知道如何提取此类内容。我要提取的是

1）nps_chat：解压后文件名类似于10-19-20s_706posts.xml。 此类文件是 XML 格式，如下所示：

<Posts>
<Post class="Statement" user="10-19-20sUser7">now im left with this gay name<terminals>

                <t pos="RB" word="now"/>
                <t pos="PRP" word="im"/>
                <t pos="VBD" word="left"/>
                <t pos="IN" word="with"/>
                <t pos="DT" word="this"/>
                <t pos="JJ" word="gay"/>
                <t pos="NN" word="name"/>
            </terminals>

        </Post>
            ...
            ...

我只想要实际的帖子：

now im left with this gay name

在 NLTK 中如何做或（无论如何）在本地磁盘中剥离编码后保存裸帖子？

2) 总机成绩单。此类文件（解压后文件名为discourse）包含以下格式。我想要的是删除前面的标记：

o A.1 utt1: Okay, /
qy A.1 utt2: have you ever served as a juror? /
ng B.2 utt1: Never. /
sd^e B.2 utt2: I've never been served on the jury, never been called up in a jury, although some of my friends have been jurors. /
b A.3 utt1: Uh-huh. /
sd A.3 utt2: I never have either. /
% B.4 utt1: You haven't, {F huh. } /
...
... 

我只想：

Okay, /
have you ever served as a juror? /
Never. /
I've never been served on the jury, never been called up in a jury, although some of my friends have been jurors. /
Uh-huh. /
I never have either. /
You haven't, {F huh. } /
...
... 

提前非常感谢。

Answer 1

首先，您需要为语料库制作一个语料库阅读器。您可以在 nltk.corpus 中使用一些语料库阅读器，例如：

AlpinoCorpusReader
BNCCorpusReader
BracketParseCorpusReader
CMUDictCorpusReader
CategorizedCorpusReader
CategorizedPlaintextCorpusReader
CategorizedTaggedCorpusReader
ChunkedCorpusReader
ConllChunkCorpusReader
ConllCorpusReader
CorpusReader
DependencyCorpusReader
EuroparlCorpusReader
IEERCorpusReader
IPIPANCorpusReader
IndianCorpusReader
MacMorphoCorpusReader
NPSChatCorpusReader
NombankCorpusReader
PPAttachmentCorpusReader
Pl196xCorpusReader
PlaintextCorpusReader
PortugueseCategorizedPlaintextCorpusReader
PropbankCorpusReader
RTECorpusReader
SensevalCorpusReader
SinicaTreebankCorpusReader
StringCategoryCorpusReader
SwadeshCorpusReader
SwitchboardCorpusReader
SyntaxCorpusReader
TaggedCorpusReader
TimitCorpusReader
ToolboxCorpusReader
VerbnetCorpusReader
WordListCorpusReader
WordNetCorpusReader
WordNetICCorpusReader
XMLCorpusReader
YCOECorpusReader

一旦您从语料库中创建了语料库阅读器，如下所示：

c = nltk.corpus.whateverCorpusReaderYouChoose(directoryWithCorpus, regexForFileTypes)

您可以使用以下方法从语料库中获取单词 ：以下代码：

paragraphs = [para for para in c.paras()]
for para in paragraphs:
    words = [word for sentence in para for word in sentence]

这应该会为您提供语料库所有段落中所有单词的列表。

希望这有帮助

Answer 2

您可以使用 nltk 语料库中的 .words() 属性

content = nps_chat.words()

这将为您提供列表中的所有单词

['now', '我'，'左'，'与'，'这个'，'同性恋'，'名字'，...]