在 Cassandra 中组织范围扫描的行键的方法

Question

我正在尝试找到一种好方法来组织行键以对它们执行范围扫描，而无需创建自己的索引列表。

我有一个 MySQL 数据库，目前约有 15.000 个数据库，每个数据库约 50 个表 = 75.000 个表。由于 99% 的数据始终使用唯一标识符读取，因此计划将数据移至 Cassandra 集群中。

对于某些维护（列出完整表的内容、删除完整表或删除数据库）情况，我需要获取完整表甚至数据库的内容。范围扫描似乎非常适合这一点。

目前，我计划为旧结构的每个部分生成 UUID，并将它们放在一起，并用 | 分隔（DB + Table + Id = UUID1|UUID2|UUID2）。

示例：

07424eaa-4761-11e1-ac67-12313c033ac4|0619a6ec-4525-11e1-906e-12313c033ac4|0619a6ec-4795-12e9-906e-78313c033ac4

包含数据的 CF 应使用 org.apache.cassandra.db.marshal.AsciiType 进行排序。

作为客户端，我使用 phpcassa。

对于范围扫描，我想使用 UUID| 作为范围的开始键和结束键，相同的键但使用 chr(255) 或 z附加到它。这两个字符的 ascii 值都大于该键中后面的任何其他 UUID 字符。

这是一种可靠的方法吗？可以让我实现范围扫描的解释目标吗？

Answer 1

Cassandra 最佳实践是使用 RandomPartitioner - 只要您的令牌均匀分布，这就能为您提供“免费”负载平衡。不幸的是，使用随机分区器，行范围查询（即 get_range_slices）以随机顺序返回键。

这对于对整个列族进行分页来说很好（如果这是您想要的，那么您的方法将会起作用）。但是，如果您只想分页浏览较小的连续范围的行键，则它将无法工作。

解决此问题的一种选择是使用宽行和复合列。例如，一个列族如下所示：

{ 
  row1 -> {column1: value1, column2: value2},
  row2 -> {column3: value3, column4: value4},
  ... 
}

将转置为如下所示：

{
  row1-10 -> {
              [row1, column1]: value1, [row1, column2]: value2,
              [row2, column3]: value3, [row2, column4]: value4,
              ...
             }
  ...
}

您可以通过在右列之间的右行上执行列切片 (get_slice) 来执行范围查询。即

get_range_slice(start=row1, end=row2)

变为：

get_slice(row=row1-10, start=[row1, null], end=[row2, null])

注意列键上的第二个维度为空。

诀窍是选择您的行（“桶”）键，这样您的列就不会变得太大（这对于普通 Cassandra 来说性能会很差），但您的查询不需要获取太多行。这取决于您的平均查询大小和 uuid 的分布，但一个好的候选者可能是使用 UUID1 作为行键，使用 [UUID2, UUID3] 作为列键的第一个维度。