Sphinx 和 GUID

Question

我们有一个数据库，希望使用 Sphinx 搜索引擎对其进行索引。问题是 Sphinx 需要每个文档的整数 ID，但我们的数据库将 GUID（实际上是类似 GUID 的随机字符串）作为主键。我可以动态生成合成ID如本配方中所述< /a>，但它仅适用于完整索引。如果我想要增量索引或运行时索引怎么办？是否有任何使用 Sphinx 处理 GUID 的最佳实践，可以与增量索引和运行时索引一起使用？有问题的数据库会非常大，所以我不想频繁地重新索引它们。

Answer 1

实时索引：您可以将非数字 GUID 转换为数字值（您可以使用 crc32 或 md5 转换为数字），如下所示：

mysql> select conv(mid(md5('abc'), 1, 16), 16, 10);
+--------------------------------------+
| conv(mid(md5('abc'), 1, 16), 16, 10) |
+--------------------------------------+
| 10376663631224000432                 | 
+--------------------------------------+
1 row in set (0.00 sec)

测试或 google 找出哪种算法会给出更少的结果碰撞。

一旦您拥有数字 ID，您就可以将文档插入到 Sphinx RT 索引中。

增量索引：您可以使用上述相同方法将 GUID 转换为数字，但您必须记住索引的主要部分完成构建增量的位置。如果您的表中有一些“更新”或“插入”字段，您可以轻松完成此操作。 sql_query_range 将类似于“select ...更新位置>（从sphinx_helper中选择last_updated）”。在这种情况下，您不能基于 id，因为它们不是连续的。

我已经在 1180 万个不同的域上测试了一半的 md5 算法：

mysql> update domain_tmp set hash = conv(mid(md5(domain), 1, 16), 16, 10);
Query OK, 5901483 rows affected (1 min 59.03 sec)
Rows matched: 11800403  Changed: 5901483  Warnings: 0

mysql> select count(*) from domain_tmp;
+----------+
| count(*) |
+----------+
| 11800403 | 
+----------+
1 row in set (16.30 sec)

mysql> select count(distinct hash) from domain_tmp;
+----------------------+
| count(distinct hash) |
+----------------------+
|             11800403 | 
+----------------------+
1 row in set (1 min 5.51 sec)

即没有发生冲突。因此，如果数据集中没有更多文档，那么使用一半的 md5 就可以了。