处理大型数据集

Question

处理大型数据集的最佳解决方案是什么。
我有 txt 文件分成多个文件。 如果我加起来大约是 100 GB 这些文件只不过是

uniqID1 uniqID2 等

id 对 如果我想计算类似的东西 1：uniqID等的唯一数量 2：uniqID1链接到的其他ID列表？

最好的解决方案是什么？ 我如何将它们更新到数据库中？

谢谢你！

Answer 1

因此，如果您有一个包含以下列的表：

           id1 varchar(10)   // how long are you ids? are they numeric? text?
           id2 varchar(10)

表中有大约 50 亿行，并且您想要快速回答以下问题：

        how many unique values in column id1 are there?
        what is the set of distinct values from id1 where id2 = {some parameter}

一个关系数据库（支持 SQL）和一个表，该表的索引位于 id1 上，另一个索引位于id2 会做你需要的。 SQLite 可以完成这项工作。

编辑：要导入它们，最好用值中从未出现的一些字符分隔两个值，例如逗号或管道字符或制表符，每行一对：

         foo|bar
         moo|mar

编辑2：您不需要关系，但它不会伤害任何东西，并且如果数据库是关系型的，您的数据结构将更具可扩展性。