递归函数的产量

Question

我正在尝试对给定路径下的所有文件执行某些操作。我不想事先收集所有文件名然后对它们执行某些操作，所以我尝试了以下方法：

import os
import stat

def explore(p):
  s = ''
  list = os.listdir(p)
  for a in list:
    path = p + '/' + a
    stat_info = os.lstat(path )
    if stat.S_ISDIR(stat_info.st_mode):
     explore(path)
    else:
      yield path

if __name__ == "__main__":
  for x in explore('.'):
    print '-->', x

但是此代码在遇到目录时会跳过目录，而不是生成它们的内容。我做错了什么？

Answer 1

迭代器不会像这样递归地工作。您必须重新生成每个结果，方法是替换

explore(path)

为

for value in explore(path):
    yield value

Python 3.3 添加了语法 yield正如 PEP 380 中所提议的，来自 X 来实现此目的。有了它，你可以这样做：

yield from explore(path)

如果你使用 生成器作为协程，此语法还支持使用 generator.send() 传递值回到递归调用的生成器。上面的简单 for 循环则不会。

Answer 2

问题是这行代码：

explore(path)

它做了什么？

• 使用新的 path 调用 explore
• explore 运行，创建一个生成器，
• 生成器返回到 explore(path) 的位置代码> 已执行。 。 .
• 并且被丢弃

为什么会被丢弃？它没有被分配给任何东西，也没有被迭代——它被完全忽略了。

如果你想对结果做点什么，那么你就必须对结果做点什么！ ;)

修复代码的最简单方法是：

for name in explore(path):
    yield name

当您确信自己了解正在发生的情况时，您可能需要使用 os.walk() 来代替。

迁移到 Python 3.3 后（假设一切按计划进行），您将能够使用新的 yield from 语法，此时修复代码的最简单方法是：

yield from explore(path)

Answer 3

使用 os.walk 而不是重新发明车轮。

特别是，按照库文档中的示例，以下是未经测试的尝试：

import os
from os.path import join

def hellothere(somepath):
    for root, dirs, files in os.walk(somepath):
        for curfile in files:
            yield join(root, curfile)


# call and get full list of results:
allfiles = [ x for x in hellothere("...") ]

# iterate over results lazily:
for x in hellothere("..."):
    print x

Answer 4

将其更改

explore(path)

为：

for subpath in explore(path):
    yield subpath

或使用 os.walk，如 phooji 建议的那样（这是更好的选择）。

Answer 5

这就像函数一样调用 explore 。您应该做的是像生成器一样迭代它：

if stat.S_ISDIR(stat_info.st_mode):
  for p in explore(path):
    yield p
else:
  yield path

编辑：您可以使用 os.path.isdir(path) 代替 stat 模块。

Answer 6

试试这个：

if stat.S_ISDIR(stat_info.st_mode):
    for p in explore(path):
        yield p

Answer 7

如果您需要遍历所有文件夹和子文件夹，那么 os.walk 非常有用。如果你不需要这个，就像用大象枪打死苍蝇一样。

然而，对于这种特定情况，os.walk 可能是更好的方法。

Answer 8

您还可以使用堆栈来实现递归。

但这样做实际上并没有任何好处，除了它是可能的这一事实。如果您一开始就使用 python，那么性能提升可能不值得。

import os
import stat

def explore(p):
    '''
    perform a depth first search and yield the path elements in dfs order
        -implement the recursion using a stack because a python can't yield within a nested function call
    '''
    list_t=type(list())
    st=[[p,0]]
    while len(st)>0:
        x=st[-1][0]
        print x
        i=st[-1][1]

        if type(x)==list_t:
            if i>=len(x):
                st.pop(-1)
            else:
                st[-1][1]+=1
                st.append([x[i],0])
        else:
            st.pop(-1)
            stat_info = os.lstat(x)
            if stat.S_ISDIR(stat_info.st_mode):
                st.append([['%s/%s'%(x,a) for a in os.listdir(x)],0])
            else:
                yield x

print list(explore('.'))

Answer 9

要回答最初提出的问题，关键是 yield 语句需要从递归中传播回来（就像 return 一样）。这是 os.walk() 的工作重新实现。我在伪 VFS 实现中使用它，其中我还替换了 os.listdir() 和类似的调用。

import os, os.path
def walk (top, topdown=False):
    items = ([], [])
    for name in os.listdir(top):
        isdir = os.path.isdir(os.path.join(top, name))
        items[isdir].append(name)
    result = (top, items[True], items[False])
    if topdown:
        yield result
    for folder in items[True]:
        for item in walk(os.path.join(top, folder), topdown=topdown):
            yield item
    if not topdown:
        yield result