搜索/索引大量文件

Question

我正在努力寻找一种有效的方法（< 0.5 sek）来在只有所需文件名的一小部分的巨大文件系统中搜索特定文件。

场景如下：

假设您有大约 15,000,000 个文件，所有这些文件均按其信息类型进行分类，这些文件包含在编号目录中，每个目录包含 20,000 个文件：

DATA
--TYPE_1_001
----ID_1234567_TYPE1.XML
----ID_2345678_TYPE1.XML
----[...]
--TYPE1_002
--[...]
--TYPE_1_097
--TYPE_2_001
----ID_1234567_TYPE2.JPG
----ID_2345678_TYPE2.JPG
----ID_2345679_TYPE2.JPG
----[...]
--[...]
--TYPE2_304
--[...]

等等。

因此，给定 ID（即 1234567），我试图找到包含该 id 的所有相关文件名。 此“查找过程”将为另一个 XML 文件中给出的 7.000.000 个 id 中的每一个执行。

目前的流程需要 405 天才能处理所有 7,000,000 个 ID，据统计，这是不可接受的；）

有什么建议吗？

提前致谢！

Answer 1

有什么方法可以将数据提取到某种描述的数据库或索引（例如 Lucene）中吗？

这需要一些时间，但一旦可用，搜索速度会快得多。

Answer 2

使用 SSD 驱动器代替硬盘驱动器。常规硬件每秒只能执行大约 120 次 IO。这是因为头部必须移动到存储信息的位置。由于没有移动部件，快速 SSD 驱动器每秒可以执行 10,000 次 IO 操作。然而，即使使用 SSD 驱动器，扫描每个目录的名称最多也需要 2 秒左右。

如果您希望它比这更快，您需要缓存/索引名称并从内存中查找它们。

顺便说一句：如果您设置了 SSD Raid 6，它可以足够快地执行 IO，在 0.5 秒内扫描 20K 文件。