如何获取各种语言中最常用单词的列表？

Question

Stack Overflow 通过获取当前问题的标题并从 Google 中删除 10,000 个最常见的英语单词来实现“相关问题”功能。然后将剩余的单词作为全文搜索提交以查找相关问题。

我如何获得最常见英语单词的列表？或者其他语言中最常见的单词？这是我可以从 Google 网站上下来的东西吗？

Answer 1

词频列表就是您想要的。您还可以创建自己的库，或自定义一个库以在特定领域内使用，这是熟悉一些优秀库的好方法。从一些文本开始，例如 这个问题，然后尝试这个粗略脚本的一些变体：

from nltk.stem.porter import PorterStemmer
import os
import string
from collections import defaultdict

ps = PorterStemmer()
word_count = defaultdict(int)

source_directory = '/some/dir/full/of/text'

for root, dirs, files in os.walk(source_directory):
    for item in files:
        current_text = os.path.join(root, item)
        words = open(current_text, 'r').read().split()
        for word in words:
            entry = ps.stem_word(word.strip(string.punctuation).lower())
            word_count[entry] += 1

results = [[word_count[i], i] for i in word_count]

print sorted(results)

这给出了有关下载的几本书的以下内容，以及最常见的单词：

[2955, 'that'], [4201, 'in'], [4658, 'to'], [4689, 'a'], [6441, 'and'], [6705, 'of'], [14508, 'the']]

看看过滤时会发生什么从查询中找出最常见的 xy 或 z 数字，或者将它们完全排除在文本搜索索引之外。如果您包含真实世界的数据，也可能会得到一些有趣的结果 - 例如“社区”“wiki”不太可能是通用列表中的常见词，但在 SO 上显然不是这种情况，您可能想要排除他们。