redis-cli - pipe屈服在大量上传到启用群集模式的弹性时移动错误

Question

我正在尝试使用redis-cli - pipe将一些命令上传到我的AWS Elasticache以进行REDIS群集。这些命令来自通过自定义awk命令解析文件，该命令有助于生成一些HSET命令。 awk命令在自定义Shell脚本中。当我的Redis服务器的Elasticache已禁用群集模式时，执行以下操作就像魅力一样：

sh script_containing_awk.sh $FILE_TO_PARSE | redis-cli -h <Primary_endpoint> -p <port> --tls --cacert <path/to/cert> --pipe

由于内部项目的要求，Redis Server的Elasticache已通过启用了群集模式重新创建，因此我正在添加-c标记到上述命令，以这样指定。

我在尝试使用启用群集模式的Redis Server的Elasticache工作时看到了以下结果：

• 我可以通过配置端点连接到群集没有问题！
• 单个命令上传工作（即：redis -cli -h＆lt; config_endpoint＆gt; -p＆lt; port＆gt; -c -tls -tls -cacert＆cacert＆lt; path/to/certs＆certs＆gt; set键值

）只需将我的脚本输出输出到CLI即可到达：

sh script_containing_awk.sh $FILE_TO_PARSE | redis-cli -h <config_endpoint> -p <port> -c --tls --cacert <path/to/cert> --pipe

但是添加- PIPE标志在“移动”错误中结果。

我已经尝试将脚本修改为包括{}（ex：hset {user1}：hash field1 val1 field2 field2 val2 ...支架，以将密钥强制到同一群集 所以我认为它们都不会适合同一插槽。

插槽，但我仍然会遇到“移动”错误，我正在尝试上传数百万键， 代码>使用启用cluster-mode redis/Eprosticach

？

Answer 1

我相信您了解禁用集群模式和启用集群模式之间的核心区别在于您的总密钥槽位存在分割。

只是为了结合上下文；
CMD - 假设我们有 4 个节点集群，其中 1 个主节点和 3 个副本节点。
如果我们有 100 个钥匙槽 -
所有 100 个密钥槽都将存在于所有节点中。其中 3 个节点将提供只读命令，1 个节点将提供所有命令。

CME - 假设我们有 4 个节点，分为 2 个分片 - 每个分片有 1 个副本和 1 个主分片。
我们可以将它们视为逻辑子簇，即。他们将有不同组的键槽。理想情况下是 50-50 的分配。

现在，MOVED 消息不一定是错误。
当您连接到配置端点时，默认情况下您将连接到一个主节点（首先随机选择）。
当您发出命令时，客户端发送该命令，并且主节点决定它是否具有正确的哈希槽来服务该命令。

正如此处所解释的，如果节点没有散列-您的客户正在寻找的插槽，它将使用 MOVED 消息重定向您。

因此，我认为 MOVED 消息在某种程度上是 CME 集群所期望的。