如何解决avrotypeexception:未知的联合分支
我正在与Kafka CLI合作。我正在使用命令 kafka-avro-console-producer 为主题产生记录。 这是架构: { "connect.name": "datachanges.article.Envelop…
ClassPath是空的。请通过运行' ./ gradlew jar -pscalaversion = 2.12.10'
我正在尝试下载Apache Kafka,并在Stackoverflow上看到评论以下载二进制文件以删除此问题。我下载了二进制下载。 我在 Windows 中找到了解决方案:要…
如何更改不起作用的Kafka保留
我正在使用停靠的Wurstmeister/Kafka-Docker。 尝试更改保留期的主题 bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replicatio…
使用KSQLDB在单个主题中使用多种事件类型实现CDC?
我有以下情况,我有一个包含许多记录类型的Apache Kafka主题。 例如: 用户创建的用户 用户 用户删除 另一个recordType ... 我想在列出的三个用户*记…
如何在多个火花节点上设置Spark应用程序以从单个Kafka主题中提取?
我的应用程序具有一个主题的KAFKA输入流,它可以对数据进行一些过滤和聚合,然后写入Elasticsearch。我看到的是,当应用程序分配给所有火花节点并正确…
Kafka流:为主题中特定字段的每50个记录发送一个事件
我有一个主题,我从多个节点接收以下事件: { eventName : "script_execution_complete", eventTime : "", hostname : "hostA" } { eventName : "scri…
如何在生产区域以分布方式运行Kafka连接
根据Confluent上的文档我们可以使用Connect Rest API来开始/停止/管理Kafka Connect-只想了解当我们在云上部署资源时,最好的方法是什么(在我的情况…
控制器上的kafka筏sasl_plaintext
我面临与Kafka Raft Controller侦听器上配置SASL_Plaintext侦听器有关的问题。 CLSUTER是在Kubernetes中设置的。 我正在遇到以下错误: [2022-06-24 0…
任何随机的Java服务器都可以在Apache Kafka中充当生产商吗?
我在Localhost:2001上有一个Java服务器,其中存储了经常更新的JSON文件。为了保存历史上JSON的变化价值,我想设置Apache Kafka并使用他们的活动侦听…
kafka分布式连接农产品重复消息
操作环境 三个服务器 三个KAFKA经纪人,Connect,架构registry(Confluent-7.1.0) 一个用于测试的FTP连接器(3个任务) 问题 Connect Connect connec…
从Java应用程序中执行Docker命令在容器中
我正在一个容器中运行Kafka,并希望能够运行一个简单的命令来更改Java应用程序(Spring-Boot)的主题分区的数量。 我已经尝试使用ProcessBuilder,但…
在请求/回复语义中等待卡夫卡消费者的初始偏移
我正在使用共享回复主题(IE Group.ID IS null ),将和组管理禁用)。初始偏移设置为“最新”。 我面临以下问题: 我手动启动了侦听器容器,该容器会…
缩放超过1个工人时,Kafka到BigQuery管道上的数据流摊位
我有一个kafka-to-to-ligquery dataflow管道,我从多个主题中消费,并使用动态目的地来输出每个主题的合适的bigquery表。 当仅涉及一个工人时,管道会…
通知服务(Spring Boot+ Kafka)
我们有一个通知要求。 用户登录到网站。关于通知,他将有多种选择。 添加剩余时间(我们必须在计划的时间发送邮件,如果用户已经登录,则我们必须在网…