DynamoDB 范围键超出大小限制

Question

当我执行 table.put_item 时，我收到错误消息“所有范围键的聚合大小已超过 1024 的大小限制”。我有哪些选项可以保存我的数据？

1. 更改 DynamoDB 中的设置以允许更大的限制？
2. 拆分或压缩项目并保存到 DynamoDB？
3. 将项目存储在 s3 中？
4. 使用另一种数据库？
5. 其他选择？

下面是具体的代码片段：

def put_record(item):
dynamodb = boto3.resource('dynamodb')
table = dynamodb.Table('table_name')
table.put_item(Item=item)

这是存储在 DynamoDB 中的项目的示例。两个字符串变量 p 和 r 组合起来最多可以有 4000 个标记。

{
  "uuid": {
    "S": "5bf19498-344c"
  },
  “p”: {
    "S": “What is the next word after Mary had a”
  },
  “pp”: {
    "S": "0"
  },
  "response_length": {
    "S": "632"
  },
  "timestamp": {
    "S": "04/03/2022 06:30:55 AM CST"
  },
  "s": {
    "S": "1"
  },
  "c": {
    "S": "test"
  },
  "f": {
    "S": "0"
  },
  "t": {
    "S": "0.7"
  },
  "to": {
    "S": "1"
  },
  "b": {
    "S": "1"
  },
  "r": {
    "S": “lamb”
  }
}

我读了这个 https://docs.aws.amazon.com/amazondynamodb/latest/开发人员指南/ServiceQuotas.html 并且无法弄清楚 1024 是如何计算的，但我假设两个字符串变量导致了错误。

当 Item 尺寸较小时，put_item 不会导致错误；仅当大小大于 1024 限制时。

很难估计有多少保存会很大，但我需要能够保存大项目。因此，从架构角度愿意考虑任何和所有选项。

感谢您的帮助！

Answer 1

错误消息“所有范围键的聚合大小已超过 1024 的大小限制”令人费解，因为只能有一个排序键，那么“聚合”指的是什么？以下帖子也对此消息感到惊讶： https://www.stuffofminsun .com/2019/05/07/dynamodb-keys/。

我猜你实际上确实尝试编写一个项目，其中“p”（你说的是你的排序键）本身超过 1024 个字符。我不明白 p+r 组合的大小有什么影响。您可以查看（和/或包含在问题中）失败的一个特定请求，并检查 p 本身的长度是多少。另请仔细检查您是否确实将“p”而不是其他内容设置为排序键。

最后，如果您确实需要长度超过 1024 个字符的排序键，您可以考虑 Scylla Alternator - 一个与 DynamoDB 兼容的开源数据库，它没有此特定限制。