使用正则表达式在 Python 中进行字数统计

Question

使用正则表达式计算文档中英文单词的正确方法是什么？

我尝试过：

words=re.findall('\w+', open('text.txt').read().lower())
len(words)

但似乎我遗漏了几个单词（与 gedit 中的字数相比）。 我做得对吗？

多谢！

Answer 1

使用 \w+ 将无法正确计算包含撇号或连字符的单词，例如“can't”将被计为 2 个单词。它还会计算数字（数字串）； “12,345”和“6.7”各算作 2 个单词（“12”和“345”、“6”和“7”）。

Answer 2

这似乎按预期工作。

>>> import re
>>> words=re.findall('\w+', open('/usr/share/dict/words').read().lower())
>>> len(words)
234936
>>> 
bash-3.2$ wc /usr/share/dict/words
  234936  234936 2486813 /usr/share/dict/words

你为什么要小写你的话？这和计数有什么关系？

我认为以下内容会更有效：

words=re.findall(r'\w+', open('/usr/share/dict/words').read())

Answer 3

一旦您通过 _words_list = Words.split() 获得单词列表或通过正则表达式或其他方法进行所需的处理，您可以使用以下方法轻松获得单词计数：

import numpy as NP
import pandas as PD

_counted_words = PD.Series(NP.array(_words_list)).value_counts()