关于实施快速有效的方法来搜索非常大的数据集中的项目列表的建议/意见

Question

请评论和批评该方法。

场景：我在一个平面文件中有一个大型数据集（2 亿个条目）。数据的形式为 - 10 位数字电话号码后跟 5-6 个二进制字段。 每周我都会收到一个 Delta 文件，其中仅包含数据的更改。

问题：给定一个项目列表，我需要弄清楚每个项目（这将是 10 位数字）是否存在于数据集中。

我计划的方法：

• 将解析数据集并将其放入数据库（在开始时完成） 周），例如 MySQL 或 Postgres。我想在 RDBMS 中使用 RDBMS 的原因 第一步是我想要完整的时间序列数据。

• 然后从该数据库中生成某种键值存储 最新有效数据，支持操作判断是否 每个项目是否存在于数据集中（考虑某种 NOSQL db，就像这里的 Redis 一样，针对搜索进行了优化。应该有 持久性和分布式）。 此数据结构将是只读的。

• 查询此键值存储以查明每个项目是否存在 （如果可能的话，一次匹配一个值列表而不是匹配 一次一项）。希望这一切能够快如闪电。 将使用此功能作为 REST API 的后端

旁注：我喜欢的语言是 Python。

Answer 1

快速查找的一些注意事项：

• 如果您想一次检查一组数字，您可以使用执行集合交集的 Redis SINTER。
• 您可能会受益于使用网格结构，通过在某些哈希函数上分配数字范围，例如电话号码的第一位（可能有更好的，您必须进行实验），例如，当使用最佳哈希，使用 10 个节点时接近 2000 万个条目。
• 如果您预计会出现重复请求（这种情况很可能发生），您可以将最后 n 个请求的电话号码缓存在较小的集合中，然后首先查询该电话号码。