在 Python 中迭代文件的单词

Question

我需要遍历一个大文件的单词，该文件由一条长长的行组成。我知道逐行迭代文件的方法，但由于其单行结构，它们不适用于我的情况。

还有其他选择吗？

Answer 1

这实际上取决于您对单词的定义。但试试这个：

f = file("your-filename-here").read()
for word in f.split():
    # do something with word
    print word

这将使用空白字符作为单词边界。

当然，请记住正确打开和关闭文件，这只是一个简单的示例。

Answer 2

长长的队伍？我认为该行太大而无法合理地容纳在内存中，因此您需要某种缓冲。

首先，这是一种不好的格式；如果您对文件有任何形式的控制，请使其每行一个字。

如果没有，请使用类似以下内容：

line = ''
while True:
    word, space, line = line.partition(' ')
    if space:
        # A word was found
        yield word
    else:
        # A word was not found; read a chunk of data from file
        next_chunk = input_file.read(1000)
        if next_chunk:
            # Add the chunk to our line
            line = word + next_chunk
        else:
            # No more data; yield the last word and return
            yield word.rstrip('\n')
            return

Answer 3

你真的应该考虑使用 Generator

def word_gen(file):
    for line in file:
        for word in line.split():
            yield word

with open('somefile') as f:
    word_gen(f)

Answer 4

有更有效的方法可以做到这一点，但从语法上来说，这可能是最短的：

 words = open('myfile').read().split()

如果内存是一个问题，你不会想要这样做，因为它将把整个东西加载到内存中，而不是迭代它。

Answer 5

我之前回答过类似的问题，但我已经改进了该答案中使用的方法，这是更新的版本（从最近的答案复制）：

这是我的完全实用的方法，避免了阅读和
分割线。它使用 itertools 模块：< /p>

Python 3注意事项，将itertools.imap替换为map

导入 itertools

def readwords(mfile):
    byte_stream = itertools.groupby(
      itertools.takewhile(lambda c: bool(c),
          itertools.imap(mfile.read,
              itertools.repeat(1))), str.isspace)

    return ("".join(group) for pred, group in byte_stream if not pred)

使用示例：

<前><代码>>>>导入系统
>>>>>对于 readwords(sys.stdin) 中的 w：
...打印（w）
...
我真的很喜欢这种用Python读取单词的新方法
我
真的
爱
这
新的
方法
的
阅读
字
在
Python

它非常实用！
它是
洙
非常
实用！
>>>>>

我想在你的情况下，这将是使用该函数的方式：

with open('words.txt', 'r') as f:
    对于 readwords(f) 中的单词：
        打印（字）

Answer 6

像平常一样读入该行，然后将其拆分为空格以将其分解为单词？

像这样的东西：

word_list = loaded_string.split()

Answer 7

读完这句话后，你可以这样做：

l = len(pattern)
i = 0
while True:
    i = str.find(pattern, i)
    if i == -1:
        break
    print str[i:i+l] # or do whatever
    i += l

Alex。

Answer 8

唐纳德·迈纳的建议看起来不错。简单又简短。我在前段时间编写的代码中使用了以下内容：

l = []
f = open("filename.txt", "rU")
for line in f:
    for word in line.split()
        l.append(word)

Donald Miner 建议的更长版本。