Mirror-maker 2 不复制旧数据

发布于 2025-01-16 05:03:28 字数 1426 浏览 5 评论 0原文

我有 2 个 MSK kafka 集群 A 和 B 。我想使用 MM2 将数据从 A 复制到 B 。它复制新数据,但旧数据不会从 a 复制到 B 。 MM2 配置文件 -


A.bootstrap.servers=<A broker url>
B.bootstrap.servers=<B broker url>

A->B.enabled=true
topics = .*
groups = .*
A.config.storage.replication.factor=3
B.config.storage.replication.factor=3

A.offset.storage.replication.factor=3
B.offset.storage.replication.factor=3

A.status.storage.replication.factor=3
B.status.storage.replication.factor=3

offset-syncs.topic.replication.factor=3
heartbeats.topic.replication.factor=3
checkpoints.topic.replication.factor=3


replication.policy.class = org.apache.kafka.connect.mirror.IdentityReplicationPolicy
tasks.max=10
replication.factor=3
refresh.topics.enabled=true
sync.topic.configs.enabled=true
refresh.topics.interval.seconds=20

#topics.blacklist=.*[\-\.]internal, .*\.replica, __consumer_offsets
#groups.blacklist=console-consumer-.*, connect-.*, __.*
A->B.emit.heartbeats.enabled=true
A->B.emit.checkpoints.enabled=true
B->A.emit.heartbeats.enabled=true
B->A.emit.checkpoints.enabled=true

sync.group.offsets.enabled=true
sync.group.offsets.interval.seconds=60


B.security.protocol=SSL
B.ssl.truststore.location=/home/ubuntu/tls/ap-southeast-2-ci-stg/kafka.client.truststore.jks
B.ssl.keystore.location=/home/ubuntu/tls/ap-southeast-2-ci-stg/kafka.client.keystore.jks
B.ssl.keystore.password=
B.ssl.key.password=

有人可以帮忙吗?

I have 2 MSK kafka clusters A and B . I want to copy data from A to B using MM2 . It copies new data but older data is not getting copied from a to B .
MM2 configuration file -


A.bootstrap.servers=<A broker url>
B.bootstrap.servers=<B broker url>

A->B.enabled=true
topics = .*
groups = .*
A.config.storage.replication.factor=3
B.config.storage.replication.factor=3

A.offset.storage.replication.factor=3
B.offset.storage.replication.factor=3

A.status.storage.replication.factor=3
B.status.storage.replication.factor=3

offset-syncs.topic.replication.factor=3
heartbeats.topic.replication.factor=3
checkpoints.topic.replication.factor=3


replication.policy.class = org.apache.kafka.connect.mirror.IdentityReplicationPolicy
tasks.max=10
replication.factor=3
refresh.topics.enabled=true
sync.topic.configs.enabled=true
refresh.topics.interval.seconds=20

#topics.blacklist=.*[\-\.]internal, .*\.replica, __consumer_offsets
#groups.blacklist=console-consumer-.*, connect-.*, __.*
A->B.emit.heartbeats.enabled=true
A->B.emit.checkpoints.enabled=true
B->A.emit.heartbeats.enabled=true
B->A.emit.checkpoints.enabled=true

sync.group.offsets.enabled=true
sync.group.offsets.interval.seconds=60


B.security.protocol=SSL
B.ssl.truststore.location=/home/ubuntu/tls/ap-southeast-2-ci-stg/kafka.client.truststore.jks
B.ssl.keystore.location=/home/ubuntu/tls/ap-southeast-2-ci-stg/kafka.client.keystore.jks
B.ssl.keystore.password=
B.ssl.key.password=

Can somebody help on it ?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文