S3接收器连接器配置基于Debezium消息的操作类型

发布于 2025-02-13 09:28:11 字数 254 浏览 1 评论 0 原文

我们希望根据操作类型区分Kafka(来自Debezium)中的消息。 我们正在寻找基于Kafka操作类型的路由消息。

Debezium发送不同类型的操作类型,例如R(read),U(UPDATE),DELETE(D)等。

的东西

  • 类似于操作= r-&gt之类 发送到存储桶1
  • ;如果操作= u,d - > ;发送到Bucket 2

我们想从Debezium隔离快照和Delta数据。

We want to distinguish between messages in Kafka(which is coming from Debezium) based on operation type.
We are looking for routing messages based on operation type in Kafka.

Debezium sends different kind of operation types like r(read), u(update), delete(d), etc.

something like

  • if operation = r -> send to bucket 1
  • if operation = u, d -> send to bucket 2

We kind of want to segregate snapshot and delta data from Debezium.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

罗罗贝儿 2025-02-20 09:28:11

您可以使用基于内容的路由器如此示例将操作发送到不同的主题(这需要安装Debezium脚本,请参见同一链接)。这将与消息创建单独的主题,但我不知道您是否可以使用相同的S3接收器连接器将两个主题都带到不同的存储桶中(如似乎它不支持路由),所以您可能可以必须为每个主题创建一个连接器,并使用正确的水槽存储桶配置每个主题。

You can use the Content-Based router as in this example to send the operations to different topics (this requires installing Debezium scripting, see in the same link). This will create separate topics with the messages but I don't know if you can use the same S3 sink connector to take both topics to different buckets (as it seems that it doesn't support routing) so you might have to create a connector for each topic and configure each of them with the correct sink bucket.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文