当前位置： 文江博客话题详情

RocketMQ 双master双slave 异步刷盘，Produce提交后，slave不能同步刷新mater的数据

发布于 2022-09-06 08:24:08 字数 7616 浏览 29 评论 0

1.问题：在Centos6.7配置RocketMQ，在product提交数据后，双master有数据，slave没有数据，这个是什么原因呢？本人已经重装也配置过所有的VM下4个服务器的配置，但是依然没找到问题所在，希望好心人提供解决方案，感激不尽！

2.提交数据，在rocketmq-console看到数据如下：
slave没有同步到master的48条数据--另一个master也是一样

这里我的ip地址如以下的hosts文件如下：
etc/hots文件配置
我配置文件如下：全部均放在每个server的/usr/local/rocketmq/conf/2m-2s-async/

  • broker-a-master.properties
listenPort=10911
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#启动MessageFilterServer进程
filterServerNums=1
brokerIP1=192.168.63.3
brokerName=brocker-a
#Broker所属集群
brokerClusterName=qipuTestCluster
#0:Master >0:Slave
brokerId=0
#Broker 的角色
#ASYNC_MASTER 主从异步复制
#SYNC_MASTER  主从同步双写
#SLAVE    Slave
brokerRole=ASYNC_FLUSH
#刷盘方式
#ASYNC_FLUSH:异步刷盘
#SYNC_FLUSH:同步刷盘
flushDiskType=ASYNC_FLUSH
#线下开启，线上关闭
autoCreateTopicEnable=TRUE
#自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=TRUE
#是否拒绝事务消息接入
rejectTransactionMessage=FALSE
#是否从web服务器获取NameServer地址,针对大规模的Broker集群建议使用这种方式
fetchNamesrvAddrByAddressServer=FALSE
#日志根路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#删除文件时间点,默认凌晨4点
deleteWhen=4
#文件保留时间,默认48小时
fileReservedTime=48
#是否开启消息索引功能
messageIndexEnable=TRUE
#是否提供安全的消息索引机制，索引保证不丢
messageIndexSafe=FALSE
#在 Slave 上直接设置 Master地址，默认从 Name Server 上自动获取，也可以手工强制配置
#haMasterAddress=
flushIntervalCommitLog=1000
#磁盘满、且无过期文件情况下 TRUE 表示强制删除文件，优先保证服务可用; FALSE 标记服务不可用，文件不删除
cleanFileForciblyEnable=TRUE
#Topic持久化文件
topicConfigPath=/usr/local/rocketmq/store/config/topics.json
#ConsumerOffset持久化文件
consumerOffsetPath=/usr/local/rocketmq/store/config/consumerOffset.json
#subscriptionGroup 持久化文件
subscriptionGroupPath=/usr/local/rocketmq/store/config/subscriptionGroup.json
sendMessageThreadPoolNums=128
  • broker-a-slave.properties
listenPort=10911
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#启动MessageFilterServer进程
filterServerNums=1
brokerIP1=192.168.63.5
brokerName=brocker-a
#Broker所属集群
brokerClusterName=qipuTestCluster
#0:Master >0:Slave
brokerId=1
#Broker 的角色
#ASYNC_MASTER 主从异步复制
#SYNC_MASTER  主从同步双写
#SLAVE    Slave
brokerRole=SLAVE
#刷盘方式
#ASYNC_FLUSH:异步刷盘
#SYNC_FLUSH:同步刷盘
flushDiskType=ASYNC_FLUSH
#线下开启，线上关闭
autoCreateTopicEnable=TRUE
#自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=TRUE
#是否拒绝事务消息接入
rejectTransactionMessage=FALSE
#是否从web服务器获取NameServer地址,针对大规模的Broker集群建议使用这种方式
fetchNamesrvAddrByAddressServer=FALSE
#日志根路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#删除文件时间点,默认凌晨4点
deleteWhen=4
#文件保留时间,默认48小时
fileReservedTime=48
#是否开启消息索引功能
messageIndexEnable=TRUE
#是否提供安全的消息索引机制，索引保证不丢
messageIndexSafe=FALSE
#在 Slave 上直接设置 Master地址，默认从 Name Server 上自动获取，也可以手工强制配置
#haMasterAddress=
flushIntervalCommitLog=1000
#磁盘满、且无过期文件情况下 TRUE 表示强制删除文件，优先保证服务可用; FALSE 标记服务不可用，文件不删除
cleanFileForciblyEnable=TRUE
#Topic持久化文件
topicConfigPath=/usr/local/rocketmq/store/config/topics.json
#ConsumerOffset持久化文件
consumerOffsetPath=/usr/local/rocketmq/store/config/consumerOffset.json
#subscriptionGroup 持久化文件
subscriptionGroupPath=/usr/local/rocketmq/store/config/subscriptionGroup.json
sendMessageThreadPoolNums=128
  • broker-b-master.properties
listenPort=10911
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#启动MessageFilterServer进程
filterServerNums=1
brokerIP1=192.168.63.4
brokerName=brocker-b
#Broker所属集群
brokerClusterName=qipuTestCluster
#0:Master >0:Slave
brokerId=0
#Broker 的角色
#ASYNC_MASTER 主从异步复制
#SYNC_MASTER  主从同步双写
#SLAVE    Slave
brokerRole=ASYNC_MASTER
#刷盘方式
#ASYNC_FLUSH:异步刷盘
#SYNC_FLUSH:同步刷盘
flushDiskType=ASYNC_MASTER
#线下开启，线上关闭
autoCreateTopicEnable=TRUE
#自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=TRUE
#是否拒绝事务消息接入
rejectTransactionMessage=FALSE
#是否从web服务器获取NameServer地址,针对大规模的Broker集群建议使用这种方式
fetchNamesrvAddrByAddressServer=FALSE
#日志根路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#删除文件时间点,默认凌晨4点
deleteWhen=4
#文件保留时间,默认48小时
fileReservedTime=48
#是否开启消息索引功能
messageIndexEnable=TRUE
#是否提供安全的消息索引机制，索引保证不丢
messageIndexSafe=FALSE
#在 Slave 上直接设置 Master地址，默认从 Name Server 上自动获取，也可以手工强制配置
#haMasterAddress=
flushIntervalCommitLog=1000
#磁盘满、且无过期文件情况下 TRUE 表示强制删除文件，优先保证服务可用; FALSE 标记服务不可用，文件不删除
cleanFileForciblyEnable=TRUE
#Topic持久化文件
topicConfigPath=/usr/local/rocketmq/store/config/topics.json
#ConsumerOffset持久化文件
consumerOffsetPath=/usr/local/rocketmq/store/config/consumerOffset.json
#subscriptionGroup 持久化文件
subscriptionGroupPath=/data/logs/rocketmq/store/config/subscriptionGroup.json
sendMessageThreadPoolNums=128
  • broker-b-slave.properties
listenPort=10911
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#启动MessageFilterServer进程
filterServerNums=1
brokerIP1=192.168.63.6
brokerName=brocker-b
#Broker所属集群
brokerClusterName=qipuTestCluster
#0:Master >0:Slave
brokerId=1
#Broker 的角色
#ASYNC_MASTER 主从异步复制
#SYNC_MASTER  主从同步双写
#SLAVE    Slave
brokerRole=SLAVE
#刷盘方式
#ASYNC_FLUSH:异步刷盘
#SYNC_FLUSH:同步刷盘
flushDiskType=SYNC_FLUSH
#线下开启，线上关闭
autoCreateTopicEnable=TRUE
#自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=TRUE
#是否拒绝事务消息接入
rejectTransactionMessage=FALSE
#是否从web服务器获取NameServer地址,针对大规模的Broker集群建议使用这种方式
fetchNamesrvAddrByAddressServer=FALSE
#日志根路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#删除文件时间点,默认凌晨4点
deleteWhen=4
#文件保留时间,默认48小时
fileReservedTime=48
#是否开启消息索引功能
messageIndexEnable=TRUE
#是否提供安全的消息索引机制，索引保证不丢
messageIndexSafe=FALSE
#在 Slave 上直接设置 Master地址，默认从 Name Server 上自动获取，也可以手工强制配置
#haMasterAddress=
flushIntervalCommitLog=1000
#磁盘满、且无过期文件情况下 TRUE 表示强制删除文件，优先保证服务可用; FALSE 标记服务不可用，文件不删除
cleanFileForciblyEnable=TRUE
#Topic持久化文件
topicConfigPath=/usr/local/rocketmq/store/config/topics.json
#ConsumerOffset持久化文件
consumerOffsetPath=/usr/local/rocketmq/store/config/consumerOffset.json
#subscriptionGroup 持久化文件
subscriptionGroupPath=/usr/local/rocketmq/store/config/subscriptionGroup.json
sendMessageThreadPoolNums=128

如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论， 你可以免费 注册 一个本站的账号。

评论（7）

百善笑为先 2022-09-13 08:24:08

同样遇到这个问题，踩坑无数：

  1. 关闭master、slave防火墙，确保10911、10909、10912(主要用于slave同master同步)端口对外开放；
  2. 删除salve rocketmq安装目录，从master上拷贝一份到slave上，确保brokerName一致；
  3. 查看namesrv注册信息，在master中开启BrokerHAIP地址，供slave同步消息的地址：brokerIP2；在slave中开启Master服务器IP地址与端口号：haListenPort、haMasterAddress
回复
信仰 2022-09-13 08:24:08

你好，你可先随意在一台slave的机器中看下broker打印的日志，该slave是否注册到了namesrv中呢？也可以将HA方式改成同步双写模式，就可以在producer发送消息会返回具体的问题。

回复
旧话新听 2022-09-13 08:24:08

你这个问题解决了吗

回复
陌路终见情 2022-09-13 08:24:08

您好，请问您这个问题解决了吗

回复
许仙没带伞 2022-09-13 08:24:08

踩了一波坑，可能和楼主的不一样。我是主备的brokerName配置的不一样导致的。

回复
拿命拼未来 2022-09-13 08:24:08

master配置文件，brokerRole=ASYNC_FLUSH配置错了（你填的是持久化刷盘方式...）。这个属性是master节点怎么刷新到slave节点，填这两个ASYNC_MASTER、SYNC_MASTER，自己都注释了。。。
今天脑子秀逗了死怼rocketmq，还好没关网页，看了好几眼。

回复
怎言笑 2022-09-13 08:24:08

您好，请问您这个问题解决了吗

回复
~没有更多了~

关于作者

新一帅帅

暂无简介

0 文章
0 评论
24 人气
发私信

相关话题

更多

热门标签

操作系统 程序设计 IT运维 Linux系统管理 JavaScript 服务器应用 solaris C/C++ PHP Shell BSD Vue.js aix Oracle Python HTML 系统管理 HTML5 CSS 前端
更多

推荐作者

初遇

文章 0 评论 0

听闻余生

文章 0 评论 0

Z_dy

文章 0 评论 0

左岸枫

文章 0 评论 0

1848719402

文章 0 评论 0

婷

文章 0 评论 0

更多

友情链接

文江博客
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站，即表示您同意使用 Cookies 和您的相关数据。
    原文