Python：在非常大的文件夹中查找文件（超过100 TB）

Question

我正在开发一个程序，该程序将编目软件（Rucio）中的条目与存储中的文件进行比较。从编目中，我得到了它认为文件存储位置的路径。然后，我在该位置搜索该文件，看看它是否存在。我已经成功创建了一个执行此操作的 bash 脚本，但如果可以在 python 中重做它会好得多。

我遇到的问题是 python 找不到这些文件，即使我知道它们存在。我已经尝试过类似的方法

if path.exists(fulladdress):
    does stuff

并提供一个我知道存在的文件，但仍然找不到它。我怀疑这与该文件夹很大，超过 100 TB 和超过 287000 个文件有关，因此它不会搜索整个文件夹，因此找不到该文件。

是否存在适用于这么大的文件夹的 python 解决方案？

此致 Piotr

有效的 bash 脚本是：

os.system("cd; cd directory_with_files; test -e file_in_directory _exist && echo filename >> found.txt || echo filename >> not_found "

尝试运行此：

def findfile(name, path):
    for dirpath, dirname, filename in os.walk(path):
        if name in filename:
            return os.path.join(dirpath, name)

def compere_checksum(not_missing_files):
    not_missing_files_file = open(not_missing_files, 'r')
    lines_not_missing_files_file = not_missing_files_file.readlines()

    #Extract a list of fiels i know exist
    for line in lines_not_missing_files_file:
        line.replace(' ','')
        line_list=line.split(",")
        address=line_list[0].replace("LUND: file://", "")
        #address= path to the folder 
        fille=address[address.rindex('/')+1:]
        #fille the mane of the file
        address=address.replace(fille,"")

        #search for the file using bash
        os.system("test -e {} && echo Found {}".format(line_list[0],fille))
        
        #search for the file using python function abovea
        filepath=findfile(address,fille)
        print(filepath)

地址类似于“/projects/dir/dir/dir/dir/dir/mc20/v12/4.0GeV/v2.2.1-3e/”，

而 fille 是看起来像这样“mc_v12-4GeV-3e-inclusive_run1310195_t1601591250.root”

脚本返回：

Found mc_v12-4GeV-3e-inclusive_run1310220_t1601591602.root
None
Found mc_v12-4GeV-3e-inclusive_run1310246_t1601592829.root
None
Found mc_v12-4GeV-3e-inclusive_run1310247_t1601591229.root
None
Found mc_v12-4GeV-3e-inclusive_run1310248_t1601591216.root
None
Found mc_v12-4GeV-3e-inclusive_run1310249_t1601591416.root
None
Found mc_v12-4GeV-3e-inclusive_run1310250_t1601591472.root
None

所以bash 脚本找到它，但 python 没有

Answer 1

我可以使用：

while open(file) as f:
     do stuff

不知道为什么这有效，

path.exists

或者不知道为什么，

def findfile(name, path):
    for dirpath, dirname, filename in os.walk(path):
        if name in filename:
            return os.path.join(dirpath, name) 

但无论如何，只要它有效就可以了。

Answer 2

import os

def findfile(name, path):
    for dirpath, dirname, filename in os.walk(path):
        if name in filename:
            return os.path.join(dirpath, name)
filepath = findfile("file2.txt", "/")
print(filepath)