使用正则表达式从行列表中返回单词列表

Question

我在字符串列表上运行以下代码以返回其单词列表：

words = [re.split('\\s+', line) for line in lines]

但是，我最终得到类似的内容：

[['import', 're', ''], ['', ''], ['def', 'word_count(filename):', ''], ...]

与所需的相反：

['import', 're', '', '', '', 'def', 'word_count(filename):', '', ...]

如何解压列表 re.split('\ \s+', line) 在上面的列表理解中产生？天真地，我尝试使用 * 但这不起作用。

（我正在寻找一种简单且Python式的方法；我很想编写一个函数，但我确信该语言可以解决这个问题。）

Answer 1

>>> import re
>>> from itertools import chain
>>> lines = ["hello world", "second line", "third line"]
>>> words = chain(*[re.split(r'\s+', line) for line in lines])

这将为您提供一个可用于循环遍历所有单词的迭代器：

>>> for word in words:
...    print(word)
... 
hello
world
second
line
third
line

创建列表而不是迭代器只需将迭代器包装在 list 调用中即可：

>>> words = list(chain(*[re.split(r'\s+', line) for line in lines]))

Answer 2

您获得列表列表的原因是因为 re.split() 返回一个列表，然后将其“附加”到列表理解输出。

目前尚不清楚为什么要使用它（或者可能只是一个不好的例子），但如果您可以将完整内容（所有行）作为字符串获取，则可以使用

words = re.split(r'\s+', lines)

iflines 的乘积：

open('filename').readlines()

使用

open('filename').read()

代替。

Answer 3

你总是可以这样做：

words = []
for line in lines:
  words.extend(re.split('\\s+',line))

它不像单行列表理解那么优雅，但它可以完成工作。

Answer 4

刚刚偶然发现了这个老问题，我想我有更好的解决方案。通常，如果你想嵌套一个列表理解（“附加”每个列表），你会向后思考（非for循环）。这不是你想要的：

>>> import re
>>> lines = ["hello world", "second line", "third line"]
>>> [[word for word in re.split(r'\s+', line)] for line in lines]
[['hello', 'world'], ['second', 'line'], ['third', 'line']]

但是，如果你想“扩展”而不是“追加”你正在生成的列表，只需省略额外的方括号集并反转你的 for 循环（将它们放回“右”） “ 命令）。

>>> [word for line in lines for word in re.split(r'\s+', line)]
['hello', 'world', 'second', 'line', 'third', 'line']

对我来说，这似乎是一个更 Pythonic 的解决方案，因为它基于列表处理逻辑，而不是一些 random-ass 内置函数。每个程序员都应该知道如何做到这一点（尤其是那些试图学习 Lisp 的程序员！）