用于生成“顶级列表”的算法使用词频

发布于 2024-07-27 20:14:25 字数 55 浏览 1 评论 0原文

我收集了大量人类生成的内容。我想找到最常出现的单词或短语。什么是有效的方法来做到这一点？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

死开点丶别碍眼 2024-08-03 20:14:25

不要重新发明轮子。使用全文搜索引擎，例如 Lucene。

回复收藏 0 原文

醉态萌生 2024-08-03 20:14:25

简单/天真的方法是使用哈希表。浏览单词并边读边增加计数。

在该过程结束时，按计数对键/值对进行排序。

回复收藏 0 原文

辞慾 2024-08-03 20:14:25

基本思想很简单——在可执行的伪代码中，

from collections import defaultdict

def process(words):
  d = defaultdict(int)
  for w in words: d[w] += 1
  return d

当然，问题在于细节——如何将大集合变成一个产生单词的迭代器？它是否足够大，以至于您无法在一台机器上处理它，而是需要一种 MapReduce 方法，例如通过 hadoop？等等。 NLTK 可以在语言方面提供帮助（隔离无法将它们完全分开的语言中的单词））。

在单机执行（mapreduce 网络）上，可能出现的一个问题是，简单的想法会给您带来太多的单例或类似情况（单词出现一次或仅出现几次），从而填满内存。对此的一个概率反驳是进行两次传递：一次进行随机采样（仅获取十分之一的单词，或一百分之一）以生成一组作为最高排名候选的单词，然后第二次传递跳过那些单词不在候选集中。根据您采样的单词数量以及您希望在结果中包含多少个单词，可以计算出通过这种方式错过重要单词的概率的上限（对于合理的数字和任何自然语言），我向你保证你会没事的）。

一旦你有了字典将单词映射到出现次数，你只需要按出现次数选择前 N 个单词 - 如果字典太大而无法按整个出现次数排序（例如在我的字典中），堆队列将有所帮助。例如，最喜欢的可执行伪代码，heapq.nlargest 就会做到这一点）。

the basic idea is simple -- in executable pseudocode,

from collections import defaultdict

def process(words):
  d = defaultdict(int)
  for w in words: d[w] += 1
  return d

Of course, the devil is in the details -- how do you turn the big collection into an iterator yielding words? Is it big enough that you can't process it on a single machine but rather need a mapreduce approach e.g. via hadoop? Etc, etc. NLTK can help with the linguistic aspects (isolating words in languages that don't separate them cleanly).

On a single-machine execution (net of mapreduce), one issue that can arise is that the simple idea gives you far too many singletons or thereabouts (words occurring once or just a few times), which fill memory. A probabilistic retort to that is to do two passes: one with random sampling (get only one word in ten, or one in a hundred) to make a set of words that are candidates for the top ranks, then a second pass skipping words that are not in the candidate set. Depending on how many words you're sampling and how many you want in the result, it's possible to compute an upper bound on the probability that you're going to miss an important word this way (and for reasonable numbers, and any natural language, I assure you that you'll be just fine).

Once you have your dictionary mapping words to numbers of occurrences you just need to pick the top N words by occurrences -- a heap-queue will help there, if the dictionary is just too large to sort by occurrences in its entirety (e.g. in my favorite executable pseudocode, heapq.nlargest will do it, for example).

回复收藏 0 原文