如何使用 WordNet 查找英语单词的频率计数？

Question

有没有办法使用 Python 使用 WordNet 或 NLTK 来查找英语单词的使用频率？

注意：我不想要给定输入文件中单词的频率计数。我想要根据当今的使用情况来统计某个单词的频率。

Answer 1

在 WordNet 中，每个引理都有一个由该方法返回的频率计数
lemma.count()，存储在文件 nltk_data/corpora/wordnet/cntlist.rev 中。

代码示例：

from nltk.corpus import wordnet
syns = wordnet.synsets('stack')
for s in syns:
    for l in s.lemmas():
        print l.name + " " + str(l.count())

结果：

stack 2
batch 0
deal 1
flock 1
good_deal 13
great_deal 10
hatful 0
heap 2
lot 13
mass 14
mess 0
...

但是，许多计数为零，并且源文件或文档中没有使用哪个语料库来创建此数据的信息。根据 Daniel Jurafsky 的语音和语言处理一书James H. Martin，感知频率来自 SemCor 语料库，它是已经很小而且过时的布朗语料库。

因此，最好选择最适合您的应用程序的语料库，并按照克里斯托弗的建议自行创建数据。

要使 Python3.x 兼容，只需执行以下操作：

代码示例：

from nltk.corpus import wordnet
syns = wordnet.synsets('stack')
for s in syns:
    for l in s.lemmas():
        print( l.name() + " " + str(l.count()))

Answer 2

您可以使用棕色语料库来完成此操作，尽管它已经过时（最后一次修订于 1979 年），因此缺少许多当前单词。

import nltk
from nltk.corpus import brown
from nltk.probability import *

words = FreqDist()

for sentence in brown.sents():
    for word in sentence:
        words.inc(word.lower())

print words["and"]
print words.freq("and")

然后，您可以将 FreqDist cpickle 保存到文件中，以便稍后更快地加载。

语料库基本上只是一个充满句子的文件，每行一个，并且还有很多其他语料库，因此您可能会找到一个适合您目的的语料库。更多最新语料库的其他几个来源：Google< /a>，美国国家语料库。

您还可以获取前 60,000 个单词及其频率的当前列表
当代美国英语语料库

Answer 3

查看此网站的词频：
http://corpus.byu.edu/coca/

有人编制了一份取自 opensubtitles 的单词列表。 org（电影脚本）。有一个像这样格式的免费简单文本文件可供下载。有许多不同的语言。

you 6281002
i 5685306
the 4768490
to 3453407
a 3048287
it 2879962

http://invokeit.wordpress.com/Frequency-word-lists/

Answer 4

你实际上不能这样做，因为它很大程度上取决于上下文。不仅如此，对于频率较低的单词，频率将很大程度上取决于样本。

您最好的选择可能是找到给定流派的大量文本（例如，从 古腾堡计划 下载一百本书）然后自己数一下单词数。

Answer 5

查看 Wordnet 相似度项目的信息内容部分，网址为 http://wn-similarity.sourceforge.net/ 。在那里，您将找到 Wordnet 引理的词频数据库（或者更确切地说，从词频派生的信息内容），这些数据库是根据几个不同的语料库计算得出的。源代码是Perl语言，但数据库是独立提供的，可以很容易地与NLTK一起使用。

Answer 6

您可以从 https://github.com/stanfordnlp/GloVe 下载词向量 glove.6B.zip，解压它们并查看文件 glove.6B.zip。 6B.50d.txt。

在那里，您将找到 400.000 个英语单词，每行一个（加上同一行中每个单词 50 个数字），小写，从最频繁 (the) 到最不频繁排序。您可以通过以原始格式或 pandas 读取此文件来创建单词排名。

它并不完美，但我过去曾使用过它。同一网站还提供了最多包含 220 万个英文单词的其他文件（大小写）。

Answer 7

维基词典项目有一些基于电视脚本和古腾堡计划的频率列表，但它们的格式不太适合解析。

Answer 8

Christopher Pickslay 解决方案的 Python 3 版本（包括将频率保存到 tempdir）：

from pathlib import Path
from pickle import dump, load
from tempfile import gettempdir

from nltk.probability import FreqDist


def get_word_frequencies() -> FreqDist:
  tmp_path = Path(gettempdir()) / "word_freq.pkl"
  if tmp_path.exists():
    with tmp_path.open(mode="rb") as f:
      word_frequencies = load(f)
  else:
    from nltk import download
    download('brown', quiet=True)
    from nltk.corpus import brown
    word_frequencies = FreqDist(word.lower() for sentence in brown.sents()
                                for word in sentence)
    with tmp_path.open(mode="wb") as f:
      dump(word_frequencies, f)

  return word_frequencies

用法：

word_frequencies = get_word_frequencies()

print(word_frequencies["and"])
print(word_frequencies.freq("and"))

输出：

28853
0.02484774266443448