apache-kafka

apache-kafka

文章 0 浏览 0

我在代码中更新后,NestJS-Kafka组ID没有变化

我正在使用 Kafka JS 连接到 kafka。在我的消费者中,最初我将组 ID 命名为“orderable-test”,后来当我将此组 ID 更新为“orderable-test-1”并重新…

写下不归期 2025-01-12 06:41:12 0 0

Kafka 消耗来自压缩主题问题的偏移量

我使用 Kafka 是为了保存日志并在发生崩溃时重建系统。 问题是当主题被压缩时,消费者不是从偏移量 0 开始。 我尝试更改 Consumer_group_ID 并重置偏…

萌︼了一个春 2025-01-12 05:52:04 0 0

Kafka 集群建模

我有一个 API 端点,它接受具有特定用户 ID 和一些其他数据的事件。我希望将这些事件广播到一些外部位置,并且我想探索使用 Kafka 作为解决方案。 我…

半城柳色半声笛 2025-01-12 05:31:20 0 0

如何检查Kafka是否进行了重新平衡?

我正在编写一个与 Kafka 一起使用的 Go 服务。当经纪人重新平衡时,我遇到了错误提交的问题。我想做一个实验,迫使 Kafka 重新平衡,看看服务的行为如…

旧故 2025-01-12 05:17:33 0 0

有没有办法将 Kafka 连接器容器连接到远程汇合集群?

我有 2 个虚拟机 - 包含汇合集群(由 docker-compose 运行) kafka connect,由 docker 容器运行(图片:confluenceinc/cp-kafka-connect:7.0.1) 我…

攒一口袋星星 2025-01-12 05:01:22 0 0

Kafka 消费者组活跃度空主题分区

跟进这个问题 -我想知道消费者组和偏移到期之间的语义。一般来说,我很好奇,kafka 协议如何确定某些特定偏移量(针对消费者组、主题、分区组合)是否…

ぃ双果 2025-01-12 03:13:33 0 0

Kafka 消费者中的重复问题

在分区 0 上测试一条 Kafka 消息,该消息的处理时间超过一个小时。我尝试过自动提交、暂停/恢复、增加最大轮询超时,但是我无法停止消费者消息复制。 …

一指流沙 2025-01-12 02:59:39 0 0

kafka 远程消费者运行缓慢

背景 : 我们尝试运行mirrormaker来尝试将一些数据从我们的数据中心之一复制到aws。当尝试执行此操作时,我们遇到了一个问题,即每个分区的吞吐量似乎…

你另情深 2025-01-12 02:33:28 0 0

如何有条件地从 Kafka 主题轮询消息

我在 MongoDB 数据库中有一些任务通知。每个任务都有一个 due_date 和提醒标志。我正在将这些任务推送到 Kafka 主题。有一个 Node JS 应用程序从该主…

这样的小城市 2025-01-11 23:58:48 0 0

Spring Kafka 手动提交在 Batch 监听模式下如何工作

我有一个有 2 个分区的主题。我在我的消费者应用程序中使用 kafka 批处理侦听器模式。由于我使用的是单个消费者应用程序,因此我将从两个分区接收消息…

素染倾城色 2025-01-11 23:39:04 0 0

负载测试服务:Kafka Consumer、Aerospike Reader

我有一个具有以下架构的服务。 它使用来自一个 Kafka 主题的消息。 它从 Aerospike 读取记录。 它将丰富的消息放入另一个 Kafka 主题。 这是架构。 我…

黯然 2025-01-11 19:57:25 0 0

无法打印来自kafka消费者的数据(基于日志的变更数据捕获项目)

我有一个项目,使用kafka、zookeeper、debezium从mysql数据库捕获数据更改。实际上,我对kafka很陌生,我只是遵循debezium教程,所以在尝试使用kafka-…

断念 2025-01-11 18:24:43 1 0

Debezium 连接器任务处于未分配状态

今天,三个节点中有一个不同步,但又恢复了。 现在,当我检查连接器任务的状态时,即使连接器处于“运行”状态,它也会显示为“未分配”。 工作人员以…

幽梦紫曦~ 2025-01-11 17:31:51 0 0

Kafka Connect 服务失败且没有任何日志

我使用 Kafka 连接与 Kafka bin 版本 2.7.0, 连接服务以独立模式运行并配置了 SSL, 由于内存不足问题(导致我们增加分配的内存)导致服务失败后,Ka…

笑着哭最痛 2025-01-11 17:05:17 0 0

在 Kafka 中存储每小时数据 |为现有系统设计消费者的问题

我必须在现有系统中用 Kafka 替换 Couchbase。在现有系统中,文档被写入 Couchbase,Java 程序从中读取数据,聚合内存中的数据,并在一小时结束时将数…

知你几分 2025-01-11 17:03:59 1 0
更多

推荐作者

卷耳

文章 0 评论 0

佚名

文章 0 评论 0

℉服软

文章 0 评论 0

qq_2gSKZM

文章 0 评论 0

凉宸

文章 0 评论 0

gyhjy

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文