django数据库用于大数据比较

Question

我在django数据库中有一个很大的数据集（基于数字的数据，例如200,000行数字），客户端将传入另一组数据，例如100-500条基于数字的数据，那么服务器需要从传入的数据中找出数据库中已有哪些号码。假设号码数据是电话号码。如果我只是进行常规的数字比较，服务器甚至无法处理来自客户端的 2-3 个请求。

请为我的问题建议一些解决方案。

Answer 1

这些数字是唯一的吗？它们有钥匙吗？

SELECT num FROM table WHERE num IN (111,222,333,....500 numbers later..., 99999)

应该给你一个数据库中的数字列表，你获取该列表，将其与你的集合进行比较并取差值。

大多数 SQL 数据库都会采用这种大小的 SQL 语句，它实际上性能相当好，并且，如果您只对实际存在感兴趣，那么数据库可能会简单地扫描索引，而永远不会命中实际行（当然取决于数据库） ）。

所以，尝试一下，看看它是如何工作的。如果你的号码没有被索引，那么你就注定会被困在门口——也要解决这个问题。

附录：

简单来说，如果您的号码是唯一的，您需要确保数据库中该号码的列有索引。如果您想强制它保持唯一，您可以将其设为唯一索引，但这现在是必需的：

CREATE UNIQUE INDEX i1 ON table(num)

如果您没有索引，数据库将不断扫描表的所有行，这不是您想要的想。

是的，111,222,333 是您正在检查的客户端传递的号码。

假设您的数据库中有数字 1,2,3,4,5,6，而客户端列表是 1,5,7。当您执行 SELECT num FROM table WHERE num IN (1,5,7) 时，您将返回 2 行：1 和 5。

因此，您需要将结果编号 1,5 与列表 1 进行比较， 5,7。我对 Python 的了解不够多，更不用说 Django 了，无法为您提供一个很好的例子，但快速浏览一下就会发现它们有“设置”对象。通过这些，您可以执行以下操作：

newSet = clientSet.difference(dbSet)

其中 clientSet 是来自客户端的数字集，dbSet 是来自给定查询的数字集，newSet 是客户端拥有的不在数据库中的数字列表。

我可能误用了集合运算符“差异”，但这就是它的要点。

Answer 2

如果您想检查查询是否匹配任何行，请在您的代码中使用 count()查询集；这可以避免评估查询集（从而执行查询）并可能带来性能提升。

不要这样做：

result = Entry.objects.filter(number__in=[1,2,3,4,5,6,7])
if len(result):
   print "We have some results!"

相反：

result = Entry.objects.filter(number__in=[1,2,3,4,5,6,7])
if result.count():
   print "We have some results!"

正如 Will 所建议的 - 您还应该确保表中针对要搜索的列有正确的索引。