用于查找给定文档的词频的 Python 脚本

Question

我正在寻找一个简单的脚本，可以找到给定文档的单词频率（可能通过使用便携式词干分析器）。

是否有任何库或简单的脚本可以执行此过程？

Answer 1

使用 nltk

import nltk

YOUR_STRING = "Your words"

words = [w for w in YOUR_STRING.split()]
freq_dist = nltk.FreqDist(words)

tokens = freq_dist.keys()

#50 most frequent
most_frequent = tokens[:50]

#50 least frequent
least_frequent = tokens[-50:]

Answer 2

你应该能够数字数。使用 collections.Counter 或 dict，具体取决于您的需要。这部分很简单，但如果不是，你可以通过搜索 SO 本身找到答案。

我想你还想要 Porter Stemmer，它有一个 Python 版本，位于 http://tartarus.org /~martin/PorterStemmer/python.txt