递归 递归 递归 --- 如何提高性能？ （Python档案递归提取）

Question

我正在尝试开发一个递归提取器。问题是，它递归太多（每当它找到存档类型时）并且性能受到影响。

那么我该如何改进下面的代码呢？

我的想法1：

首先获取目录的“Dict”，以及文件类型。Filetypes作为键。提取文件类型。当找到存档时，仅提取该存档。然后再次重新生成存档字典。

我的想法2：

os.walk返回生成器。那么我可以用发电机做点什么吗？我是发电机的新手。

这是当前的代码：

import os, magic
m = magic.open( magic.MAGIC_NONE )
m.load()

archive_type = [ 'gzip compressed data',
        '7-zip archive data',
        'Zip archive data',
        'bzip2 compressed data',
        'tar archive',
        'POSIX tar archive',
        'POSIX tar archive (GNU)',
        'RAR archive data',
        'Microsoft Outlook email folder (>=2003)',
        'Microsoft Outlook email folder']

def extractRecursive( path ,archives):
    i=0
    for dirpath, dirnames, filenames in os.walk( path ):
        for f in filenames:
            fp = os.path.join( dirpath, f )
            i+=1
            print i
            file_type = m.file( fp ).split( "," )[0]
            if file_type in archives:
                arcExtract(fp,file_type,path,True)
                extractRecursive(path,archives)
    return "Done"



def arcExtract(file_path,file_type,extracted_path="/home/v3ss/Downloads/extracted",unlink=False):
    import subprocess,shlex


    if file_type in pst_types:
        cmd = "readpst -o  '%s' -S '%s'" % (extracted_path,file_path)
    else:
        cmd = "7z -y -r -o%s x '%s'" % (extracted_path,file_path)

    print cmd
    args= shlex.split(cmd)
    print args

    try:
        sp = subprocess.Popen( args, shell = False, stdout = subprocess.PIPE, stderr = subprocess.PIPE )
        out, err = sp.communicate()
        print out, err
        ret = sp.returncode
    except OSError:
        print "Error no %s  Message %s" % (OSError.errno,OSError.message)
        pass

    if ret == 0:
        if unlink==True:
            os.unlink(file_path)
        return "OK!"
    else:
        return "Failed"
if __name__ == '__main__':
    extractRecursive( 'Path/To/Archives' ,archive_type)

Answer 1

看起来，如果您想将存档文件提取到它们所在路径“上方”的路径，那么 os.walk 本身（在其正常的自上而下操作中）无济于事你（因为当你将档案解压到某个目录 x 时，os.walk 可能（尽管不一定）已经考虑了目录 x —— 所以只有让 os.walk 一遍又一遍地查看整个路径，你才能获取所有内容）。除此之外，我很惊讶你的代码会终止，因为存档类型文件应该不断被找到和提取——我看不出什么可以终止递归。 （为了解决这个问题，保留一组已提取的存档类型文件的所有路径就足够了，以避免再次遇到它们时再次考虑它们）。

无论如何，到目前为止最好的架构是如果 arcExtract 返回它已提取的所有文件的列表（特别是它们的目标路径）——那么您可以简单地继续扩展包含所有这些文件的列表在 os.walk 循环期间提取文件（无递归），然后在列表上继续循环（无需不断询问操作系统有关文件和目录的信息，也节省了该操作的大量时间）并生成一个新的类似列表。没有递归，没有冗余的工作。我想 readpst 和 7z 能够以某种文本形式提供此类列表（可能在其标准输出或错误上，您当前仅显示但不处理）您可以解析它并将其放入列表中...？

Answer 2

您可以简化 extractRecursive 方法以按应使用的方式使用 os.walk。 os.walk 已经读取了所有子目录，因此不需要递归。

只需删除递归调用，它就应该可以工作:)

def extractRecursive(path, archives, extracted_archives=None):
    i = 0
    if not extracted_archives:
        extracted_archives = set()

    for dirpath, dirnames, filenames in os.walk(path):
        for f in filenames:
            fp = os.path.join(dirpath, f)
            i += 1
            print i
            file_type = m.file(fp).split(',')[0]
            if file_type in archives and fp not in extracted_archives:
                extracted_archives.add(fp)
                extracted_in.add(dirpath)
                arcExtract(fp, file_type, path, True)

    for path in extracted_in:
        extractRecursive(path, archives, extracted_archives)

    return "Done"