如何快速打开和读取数千个文件

Question

我的问题是应用程序需要很长时间才能加载数千个文件。是的，我知道这会花费很长时间，但我想让它更快一些。我所说的“加载”是指打开文件以获取其描述符，然后读取其中的前 100 个字节左右。

因此，我的主要策略是创建第二个线程来打开和关闭（不读取任何内容）所有文件。这似乎有帮助，因为线程在主线程之前运行，并且我猜测操作系统正在提前缓存这些文件描述符，以便当我的主线程打开它们时可以快速打开。这实际上很有帮助，因为当我的主线程正在解析从这些文件读取的数据时，线程可以开始缓存这些文件描述符。

所以我真正的问题是......我还能做些什么来加快速度？有哪些方法？有人成功做到这一点吗？

我听说过操作系统预取调用，但它是针对虚拟内存页面的。有没有办法告诉操作系统，嘿，我很快就会需要所有这些文件 - 我建议您提前开始为我收集它们。我的前瞻线程非常粗糙。

我可以使用低级磁盘技术吗？是否有可能有帮助的文件访问模式？现在，加载的文件都来自同一个文件夹。我想没有办法确定它们在磁盘上的确切位置以及哪种文件打开顺序对于磁盘来说是最快的。我还猜测磁盘上有一些硬件可以使其尽可能高效。

我的应用程序主要适用于 Windows，但 Unix 的建议也会有所帮助。

如果这有什么区别的话，我正在用 C++ 编程。

谢谢， -朱利安

Answer 1

我的第一个想法是，从程序层面来说，这将很难解决。

您会发现 Linux 和 OSX 可以访问数千个这样的文件，而所需时间只是 Windows 的一小部分。我不知道你对机器的控制能力有多大。如果您可以在 FAT 分区上保存数千个文件，您应该会看到比 NTFS 更好的结果。

您扫描这些文件的频率以及它们更改的频率。如果该比率主要集中在读取方面，则将每个文件的开头复制到缓存中是有意义的。缓存可以存储文件名、修改时间以及一千个文件中每个文件的 100 字节。