Confluent Kafka源连接器任务(DatagenConnector)数据序列化到AVRO格式中的错误
我正在尝试使用Confluent Kafka DataGenconnector从数据源连接器中产生数据,我将使用Confluent Schema注册表将值转换为AVRO格式。我用于创建源连接器…
使用Python,如何产生KAFKA消息超过1MB?
我试图通过Kafka传输一些巨大的JSON数据,但没有发生。 Python生产商也没有任何错误,也没有消费者端的任何消息。 producer = KafkaProducer(bootstra…
Kafka Stream KeyValue State Store商店(KTable)
我需要一个要求,无论时间如何,无论时间,即Kafka主题时,我都需要根据密钥汇总所有这些消息。 在逻辑下,我写的是为了实现这一目标,这很好。 KStre…
Kafka Connect S3源无法与Minio合作
我已经验证了与Minio的连接,确保凭据正常工作,并且可以达到Minio。另外,如果我尝试 store.url = http:// minio:9000 我无法保存配置> kafka-conn…
如何映射汇合。'前缀变量适用于正确的Docker Envs?
假设我需要更改 confluent.security.event.logger.exporter.kafka.topic.replicas 或 confluent.metrics.reporter.reporter.topic.replicas 。 如何通…
弹簧靴kafkalistener忽略内部捕获
我与kafkalistener一起使用Spring Boot,然后尝试治疗内部异常(约束VioLationException),但我不知道为什么内部尝试捕获不起作用, 具有关注代码, …
连接到在Docker中运行的Kafka
我在本地计算机上设置了一个单个节点kafka docker容器,如汇合文档(步骤2-3)。 此外,我还暴露了Zookeeper的端口2181和Kafka的端口9092,以便我能够…
Spring Kafka-批处理处理不起作用
我有Spring Kafka消费者,我想每60秒消耗50张记录。我转介了几个文档,并配置了我的应用程序,例如> 消费者配置 @Bean public ConsumerFactory co…
如何通过从制作人的视频字节发送字节并收集每个字节并将其转换为数组
这是生产者配置。 import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.common.serialization.StringSerializer; imp…
如何通过流读取Kafka主题的数据
我想在kafka中创建 my_stream ,该从 my_topic 读取数据消息,然后将其推到另一个 target_topic 。使用KSQL语句: 使用(KAFKA_TOPIC ='target_topic'…
在Springboot测试中禁用Kafka连接
我正在按照微服务体系结构进行Springboot项目,并使用Kafka作为活动总线来交换其中一些数据。我还进行了JUNIT测试,这些测试测试了我的应用程序的某些…
我可以使用不同类型的AVRO架构对不同主题使用单个S3-Sink连接器指向时间戳字段的同一字段名称?
主题t1架构T1 { "type": "record", "name": "Envelope", "namespace": "t1", "fields": [ { "name": "before", "type": [ "null", { "type": "record"…