使用 Python/NLTK 提取一组单词，然后将其与标准英语词典进行比较

Question

我有：

from __future__ import division
import nltk, re, pprint
f = open('/home/a/Desktop/Projects/FinnegansWake/JamesJoyce-FinnegansWake.txt')
raw = f.read()
tokens = nltk.wordpunct_tokenize(raw)
text = nltk.Text(tokens)
words = [w.lower() for w in text]

f2 = open('/home/a/Desktop/Projects/FinnegansWake/catted-several-long-Russian-novels-and-the-NYT.txt')
englishraw = f2.read()
englishtokens = nltk.wordpunct_tokenize(englishraw)
englishtext = nltk.Text(englishtokens)
englishwords = [w.lower() for w in englishwords]

这是直接来自 NLTK 手册的。接下来我想做的是将 vocab 与一组详尽的英语单词（例如《牛津英语词典》）进行比较，并提取差异 - 芬尼根守灵夜中没有、也可能永远不会出现的单词集，出现在《牛津英语词典》中。我更像是一个语言型的人，而不是一个数学型的人，所以我还没有弄清楚如何做到这一点，并且手册对我实际上不想做的事情进行了太多细节。不过，我假设这只是一两行代码。

Answer 1

如果您的英语词典确实是一个集合（希望是小写单词），

set(vocab) - english_dictionary

则为您提供位于 vocab 集合中但不在 english_dictionary 集合中的单词集合。 （遗憾的是，您通过 sorted 将 vocab 转换为列表，因为您需要将其转换回集合来执行诸如此集合差异之类的操作！）。

如果您的英语词典采用某种不同的格式，而不是真正的集合或不仅仅由小写单词组成，您必须告诉我们该格式是什么，以便我们能够提供帮助！-)

编辑：鉴于OP的编辑显示，words（以前称为vocab）和englishwords（我以前称为english_dictionary< /code>）实际上是小写单词列表，然后

newwords = set(words) - set(englishwords)

或 是

newwords = set(words).difference(englishwords)

表达“非英语单词的单词集”的两种方式。前者稍微简洁一些，后者可能更具可读性（因为它明确使用“差异”一词，而不是减号），并且可能更高效（因为它没有显式转换列表 englishwords 到一个集合中 - 但是，如果速度至关重要，则需要通过测量来检查，因为“内部”差异仍然需要进行某种“转换为集合” -类似操作）。

如果您希望得到一个列表而不是一个集合作为结果，sorted(newwords) 将为您提供一个按字母顺序排序的列表（list(newwords) 将为您提供一个列表有点快，但完全任意的顺序，我怀疑你宁愿等待一点额外的时间，作为回报，得到一个很好的按字母顺序排列的结果;-)。