在同一kafka群集中使用kafka连接复制器
我考虑使用Kafka Connect Replicator进行同一集群中的事件富集。
这个想法是要拥有将丰富事件的SMT，之后需要将事件发送给Mongo db＆amp; S3桶。
我知道Kstream / Flink是替代方案。
我的问题是：这是“理性”设计，还是我在这里缺少一些东西？
谢谢
I consider to use Kafka Connect replicator for event enrichment inside the same cluster.
The idea is to have SMT that will enrich the events and after that the events needs to be sent to Mongo DB & S3 bucket.
I understand that KStream / Flink are alternatives.
My question is: Is it a "make sense" design or I am missing something here?
Thanks
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
复制器旨在在群集之间使用，而不是在相同的情况下使用。 （这也是一个付费功能，如果可能的解决方案，您可以使用MirrorMaker2代替也可以做同样的事情）。
KStreams / ksqldb是用于集群中传输数据的，似乎是这里的最佳选择。
Flink，Spark或其他流处理工具将起作用，但需要外部调度程序，并且可以将其写入Mongo，S3等，而无需Kafka Connect，因此实际上取决于您需要解决方案的灵活性。
Replicator is intended to be used between clusters, not within the same. (It's also a paid feature, and you could just use MirrorMaker2 instead to do the same, if it were a possible solution).
KStreams / ksqlDB is meant for a transferring data within a cluster and seems to be the best option here.
Flink, Spark, or other stream processing tools would work, but require an external scheduler, and can themselves write to Mongo, S3, etc without the need of Kafka Connect, so really depends on how flexible you need the solution to be.