如何优化Python从外部硬盘读取文件的速度？

Question

我需要处理来自外部硬盘的约 200 个文件夹，其中包含 300 张图片 (205 kb)。

我在线程中有以下循环。

ffs=FileFrameStream(lFramePaths).start()

#___While Loop through the frames____

image,path = ffs.read()

while ffs.more(): #While there is frames in the Queue to read
        try:
            img = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) 
            #some more operations....
        except:
            print(f"Erorr in picture:{path}")
            image,path=ffs.read()
            count+=1
            continue
     image,path=ffs.read()
     count+=1
ffs.stop()

对于 1 到 30-40 个文件夹，代码运行速度很快。一个文件夹大约需要0.5秒，20个13.20秒，但如果我要分析200个文件夹，需要500-600秒。所以我不知道我做错了什么或者如何提高代码的性能。

我感谢您能提供的任何帮助。

爱德华多

Answer 1

您可能会看到操作系统文件缓存的影响。当解析 200 个文件时，它可能会超出容量，并且实际的流传输直接从磁盘而不是 RAM 完成。

检查您的操作系统文件缓存容量是否小于 200 个文件大小的总和，或者是否可以缓存外部驱动器。当数据开始无法容纳缓存时，性能会呈指数下降，除非磁盘驱动器几乎与 RAM 一样快（我猜不是）。