什么是Kafka Connect Runtime?

发布于 2025-02-12 17:52:24 字数 131 浏览 1 评论 0原文

阅读有关Kafka Connect的信息,它被定义为执行任务的运行时。

说kafka Connect(或其他任何其他软件)是运行时,这是什么意思?它如何影响其与Kafka连接架构的其他部分(例如连接器,转换器或Kafka本身)的关系?

Reading about Kafka connect, it is defined as a runtime which executes tasks.

What exactly it means to say that Kafka connect(or any other piece of software for that matter) is a runtime? And how does it impact its relationship with other parts of the kafka connect architecture , like connectors, converters, or kafka itself?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

梦屿孤独相伴 2025-02-19 17:52:25

在Kafka生态系统中,Kafka是源或目标,Kafka Connect提供了一个框架和运行时(执行代码)以实现和操作源和下沉连接器。

源连接器提供了从外部源的阅读机制,并将数据流到Kafka中。一个非常受欢迎的源连接器是Debezium(流从数据库表变为KAFKA),或者它可能是一个目标接收器系统,可以从Kafka中读取消息并将其降落在其他数据库中(例如Elasticsearch,S3等

)它与像Tomcat这样的容器非常相似,KC运行时为Kafka应用程序提供了一个共同的框架(例如Tomcat提供的Servlet和类似的框架Web应用程序)。它提供了以独立的或促进与Kafka相互作用的群集模式进行操作的机制(例如,偏移管理的想法)。它提供管理API(例如,停止,启动,注册连接器)的管理API)

PS:想要将其写成评论,最终结果很长:)

In the kafka ecosystem , where kafka is a source or a target , Kafka connect provides a framework and a runtime (to execute the code) to implement and operate source and sink connectors.

Source connectors provide a mechanism of reading from an external source and streaming data into Kafka. A very popular source connector is Debezium (streams CDC changes from database tables to Kafka) or it could be a target sink system that can read messages from Kafka and land them on a different database (say elasticsearch , S3 etc.)

One way to think of it is quite similar to a container like Tomcat , a KC runtime provides a common framework for Kafka applications (like tomcat provides for servlets and similar web-apps). It provides mechanisms to operate this in standalone or in clustered modes facilitating interactions with Kafka (offset management for example comes to mind). It provides management API's (connector status , stopping , starting, registering connectors for example)

P.S : wanted to write this as a comment , turned out long in the end :)

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文