我在代码中更新后,NestJS-Kafka组ID没有变化
我正在使用 Kafka JS 连接到 kafka。在我的消费者中,最初我将组 ID 命名为“orderable-test”,后来当我将此组 ID 更新为“orderable-test-1”并重新…
Kafka 消耗来自压缩主题问题的偏移量
我使用 Kafka 是为了保存日志并在发生崩溃时重建系统。 问题是当主题被压缩时,消费者不是从偏移量 0 开始。 我尝试更改 Consumer_group_ID 并重置偏…
有没有办法将 Kafka 连接器容器连接到远程汇合集群?
我有 2 个虚拟机 - 包含汇合集群(由 docker-compose 运行) kafka connect,由 docker 容器运行(图片:confluenceinc/cp-kafka-connect:7.0.1) 我…
如何有条件地从 Kafka 主题轮询消息
我在 MongoDB 数据库中有一些任务通知。每个任务都有一个 due_date 和提醒标志。我正在将这些任务推送到 Kafka 主题。有一个 Node JS 应用程序从该主…
Spring Kafka 手动提交在 Batch 监听模式下如何工作
我有一个有 2 个分区的主题。我在我的消费者应用程序中使用 kafka 批处理侦听器模式。由于我使用的是单个消费者应用程序,因此我将从两个分区接收消息…
负载测试服务:Kafka Consumer、Aerospike Reader
我有一个具有以下架构的服务。 它使用来自一个 Kafka 主题的消息。 它从 Aerospike 读取记录。 它将丰富的消息放入另一个 Kafka 主题。 这是架构。 我…
无法打印来自kafka消费者的数据(基于日志的变更数据捕获项目)
我有一个项目,使用kafka、zookeeper、debezium从mysql数据库捕获数据更改。实际上,我对kafka很陌生,我只是遵循debezium教程,所以在尝试使用kafka-…
Kafka Connect 服务失败且没有任何日志
我使用 Kafka 连接与 Kafka bin 版本 2.7.0, 连接服务以独立模式运行并配置了 SSL, 由于内存不足问题(导致我们增加分配的内存)导致服务失败后,Ka…
在 Kafka 中存储每小时数据 |为现有系统设计消费者的问题
我必须在现有系统中用 Kafka 替换 Couchbase。在现有系统中,文档被写入 Couchbase,Java 程序从中读取数据,聚合内存中的数据,并在一小时结束时将数…