我们如何检查主题上没有更多的事件或消息要消费?

发布于 2025-01-18 01:01:39 字数 258 浏览 0 评论 0原文

有没有办法检查该主题上没有更多的事件或在Spring Boot Kafka中消费的消息。在我的情况下,我有一个要求,例如我从Kafka主题的两个通道源的数据中收到数据,而另一个可以通过连接到其他DB来获得完整的数据转储。因此,在消耗了Kafka主题中的所有消息后,我需要将我从主题中收到的数据计数与我从DB连接中获得的其他数据计数进行比较。

可以这样做吗?我知道如何在Spring Boot中编写代码以开始消费Kafka主题的事件以及如何使数据库连接从一个DB表获取数据并插入另一个DB表

Is there a way we can check there are no more events or messages is left on the topic to consume in Spring Boot Kafka. In my scenario, I have a requirement like I receive data from the two-channel source one from Kafka topic, and another I can get a complete dump of data by connecting to some other DB. So there is a case after consuming all the messages from Kafka Topic I need to compare the count of data that I have received from Topic with the other data count which I get from DB connectivity.

Is it possible to do so? I know how to write the code in spring boot to start consuming events from Kafka topic and how to make a DB connectivity get data from one DB table and insert it another db table

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

送舟行 2025-01-25 01:01:40

请参阅有关检测空闲侦听器的文档容器。

虽然高效,但异步消费者的一个问题是检测它们何时空闲。如果一段时间内没有收到消息,您可能需要采取一些措施。

您可以将侦听器容器配置为在一段时间没有消息传递时发布 ListenerContainerIdleEvent。当容器空闲时,每idleEventInterval毫秒发布一个事件。

...

See the documentation about detecting idle listener containers.

While efficient, one problem with asynchronous consumers is detecting when they are idle. You might want to take some action if no messages arrive for some period of time.

You can configure the listener container to publish a ListenerContainerIdleEvent when some time passes with no message delivery. While the container is idle, an event is published every idleEventInterval milliseconds.

...

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文