k8s 中 搭建redis集群，pod重启后IP变化，集群失败，请问怎么解决

Question

大佬们，我在k8s 中 搭建redis集群成功，pod重启后IP变化，redis集群就有问题了，请问有什么方案能解决这个问题，redis 6.0.9 的版本。

Answer 1

此方案过于繁琐，当前选择简单的swarm方案代替

Answer 2

第一个问题：为什么你的可以正常更新其他POD的IP信息？自己的IP你可以写脚本更新。写一个update-node.sh的脚本。参考这个：https://rancher.com/blog/2019/deploying-redis-cluster?#

Answer 3

用外部端口，会转发POD的ip，外部应用没法连接。

Answer 4

redis cluster是p2p模式，不走代理，无法外部访问

Answer 5

必须搭配一个redis cluster proxy

Answer 6

删除所有pod，重新创建你试过没，其他POD的IP能自动更新吗

Answer 7

第二个问题：你的外部网络不能访问集群，你有创建service吗？我的是可以的。

Answer 8

回复
@活灬在当灬下 : 有创建service，nodeport类型的，部署服务到k8s，用内部端口访问redis，是没有问题的。但是如果在集群外启动应用（比如用idea intellij执行本地启动java应用），然后用k8s集群中任意一个node的ip+nodeport去访问，就会发生timeout。博主我不知道你是不是这样试的，具体你看我下面的截图。

Answer 9

回复
@活灬在当灬下 : 一下子删除所有pod，再重新创建我试过，是不能的。整个集群就直接不可用了。slot的分布都是混乱的。

Answer 10

用的就是statefulset

 

关键是pv中nodes.conf 里面都是IP啊

Answer 11

我也是用的statefulset部署的，百度中的部署方案都是雷同的，一个抄一个。我目前遇到两个我自己无法解决的问题，其中一个就是博主你问题的问题：

1. nodes.conf中的IP，在POD删除重启之后，无法更新自己POD的IP，反而是因为集群之间通信的原因，可以正常更新其他POD的IP信息，但是自己重新后，无法更新自己的IP。（如果这个问题无法解决，感觉k8s部署redis就完全失去了意义）
2. 提供nodeport的service，集群外部网络也不能访问redis集群，貌似是redis cluster模式会重定向slot所在的pod节点的内部IP，导致集群外访问不了。（我的理解是，一般情况，kube-proxy代理使用iptables会修改成endpoint中对应的ip和端口，让请求数据包发送的目标地址。但现在的情况不是这样，好像是给你新的ip地址，让客户端自己去访问，而不是帮你访问）

Answer 12

回复
@活灬在当灬下 : 你配置成服务名称就行:bowtie:

Answer 13

关键nodes.conf里使用的是IP啊

Answer 14

回复
@_snake_ : redis-cli或者redis-trib工具，都只能支持ip来初始化集群吧，你是怎么操作的？

Answer 15

回复
@活灬在当灬下 : svc的ip不变

Answer 16

这种就不能用ip了，应该用servicename（类似于一长串 域名地址，比如：xxxx.redis.cn ） 的形式访问了吧。

Answer 17

redis地址采用svc.namespace:port方式即可

Answer 18

用的是headless，主要是nodes.conf里面 存的是 pod的IP，怎么解决啊

Answer 19

使用headless发布服务，使用pod的域名进行连接

Answer 20

回复
邮箱私信发给你了，感谢:pray:

Answer 21

回复
@活灬在当灬下 : 这回复里面不能提交附件啊，好几个文件。

Answer 22

回复
求一份邮箱 zhuchance@126.com

Answer 23

回复
@活灬在当灬下 : https://gitee.com/overroot/redis-cluster-on-k8s 刚建立了一个git库，你试试吧。

Answer 24

回复
@潇洒北冥鱼 :https://gitee.com/overroot/redis-cluster-on-k8s 在这个库里面

Answer 25

使用update-node.sh的方案，也不行。

Answer 26

是用的这个但是不行啊。

Answer 27

回复
@活灬在当灬下 : 使用helm chart没有，参考这个https://github.com/helm/charts/tree/master/stable/redis

Answer 28

回复
@活灬在当灬下 : 肯定能解决的，不然那些大厂的redis集群是怎么上云的

Answer 29

回复
@活灬在当灬下 : 你把你的chart放到github上或者gitee上，我们一起来看下

Answer 30

使用statefuleset