kafka-consumer-api

kafka-consumer-api

文章 0 浏览 0

无法打印来自kafka消费者的数据(基于日志的变更数据捕获项目)

我有一个项目,使用kafka、zookeeper、debezium从mysql数据库捕获数据更改。实际上,我对kafka很陌生,我只是遵循debezium教程,所以在尝试使用kafka-…

断念 2025-01-11 18:24:43 0 0

在 Kafka 中存储每小时数据 |为现有系统设计消费者的问题

我必须在现有系统中用 Kafka 替换 Couchbase。在现有系统中,文档被写入 Couchbase,Java 程序从中读取数据,聚合内存中的数据,并在一小时结束时将数…

知你几分 2025-01-11 17:03:59 0 0

获取 java.lang.IllegalStateException:使用 Kafka Consumer 命中 API 时未找到线程绑定请求

我的要求是从 API 请求中获取 cookie,然后将相同的 cookie 传递给后续请求,以便使用相同的 JsessionID 维护会话。 为此,我尝试通过自动装配 HttpSe…

像极了他 2025-01-11 08:25:16 0 0

Consumer不会从topic中获取新记录,并且每次启动时总是指向相同的偏移位置

我正在使用 spring-kafka 2.3.7 问题 1: 系统中有两个消费者 (KafkaListeners)。当应用程序启动其中一个消费者时,总是指向相同的主题/分区/偏移量。…

木森分化 2025-01-11 07:10:09 0 0

如何处理kafka消费者失败|软提交机制

我有多个消费者从具有多个分区的 1 个主题中读取(以固定批量大小)。 每个消费者在一小时开始时开始读取,将聚合(计数,总和)保留在内存中,并在一…

青芜 2025-01-11 02:38:15 0 0

Kafka docker - NoSuchFileException:/opt/kafka.server.keystore.jks

我已经通过docker安装了kafka。 当我运行 docker-compose up 命令时,我遇到以下错误: [2022-02-28 08:13:24,185] INFO Awaiting socket connections…

只怪假的太真实 2025-01-10 21:04:15 1 0

kafka Consumer .net“协议消息结束组标记与预期标记不匹配。”

我正在尝试从 kafka 读取数据,如您所见: var config = new ConsumerConfig { BootstrapServers = ""*******, GroupId = Guid.NewGuid().ToString(),…

漫漫岁月 2025-01-10 04:41:48 0 0

如何在kafka消费者容器中模拟setBatchErrorHandler()错误?

我有一个使用 ConcurrentKafkaListenerContainerFactory 的 kafka 消费者应用程序,我读到 setBatchErrorHandler 用于在批量监听期间出现错误时处理错…

调妓 2025-01-10 04:40:33 0 0

同一组下不同分区上的 Kafka Consumer 仍然间歇性地消费相同的消息

我有 1 个消费者组和 5 个消费者。也有 5 个分区,因此每个消费者获得 1 个分区。 CLI 还显示 bin/kafka-topics.sh --describe --bootstrap-server lo…

梦亿 2025-01-09 19:36:49 1 0

从本地机器访问在 minikube 中运行的 bitnami/kafka

我正在尝试访问使用 helm 部署的 bitnami/kafka 集群。我需要能够从本地计算机向 kafka 发送消息,然后让我的 Pod 处理数据。 我使用以下命令来启动集…

抠脚大汉 2025-01-09 17:16:31 1 0

奇怪的 Kafka 消费者组重新平衡

我的 kafka 主题有两个分区和单个 kafka 消费者。我已经在 AWS 中部署了我的消费者应用程序(spring kafka)。在日志中我看到卡夫卡消费者不时地重新…

风情万种。 2025-01-09 08:28:36 1 0

spring kafka消费者中的无限重试@retryabletopic

我正在使用 @RetryableTopic 在 kafka 消费者中实现重试逻辑。 我给出的配置如下: @RetryableTopic( attempts = "4", backoff = @Backoff(delay = 30…

小清晰的声音 2025-01-09 04:57:58 1 0
更多

推荐作者

微信用户

文章 0 评论 0

小情绪

文章 0 评论 0

ゞ记忆︶ㄣ

文章 0 评论 0

笨死的猪

文章 0 评论 0

彭明超

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文