apache-kafka

apache-kafka

文章 0 浏览 2

Confluent Kafka源连接器任务(DatagenConnector)数据序列化到AVRO格式中的错误

我正在尝试使用Confluent Kafka DataGenconnector从数据源连接器中产生数据,我将使用Confluent Schema注册表将值转换为AVRO格式。我用于创建源连接器…

冬天的雪花 2025-02-13 05:40:12 2 0

使用Python,如何产生KAFKA消息超过1MB?

我试图通过Kafka传输一些巨大的JSON数据,但没有发生。 Python生产商也没有任何错误,也没有消费者端的任何消息。 producer = KafkaProducer(bootstra…

我三岁 2025-02-13 04:24:46 5 0

Kafka Stream KeyValue State Store商店(KTable)

我需要一个要求,无论时间如何,无论时间,即Kafka主题时,我都需要根据密钥汇总所有这些消息。 在逻辑下,我写的是为了实现这一目标,这很好。 KStre…

小苏打饼 2025-02-13 02:41:04 2 0

Kafka Connect S3源无法与Minio合作

我已经验证了与Minio的连接,确保凭据正常工作,并且可以达到Minio。另外,如果我尝试 store.url = http:// minio:9000 我无法保存配置> kafka-conn…

对你而言 2025-02-13 01:20:00 3 0

如何映射汇合。'前缀变量适用于正确的Docker Envs?

假设我需要更改 confluent.security.event.logger.exporter.kafka.topic.replicas 或 confluent.metrics.reporter.reporter.topic.replicas 。 如何通…

空宴 2025-02-12 20:22:24 2 0

弹簧靴kafkalistener忽略内部捕获

我与kafkalistener一起使用Spring Boot,然后尝试治疗内部异常(约束VioLationException),但我不知道为什么内部尝试捕获不起作用, 具有关注代码, …

臻嫒无言 2025-02-12 19:55:01 3 0

连接到在Docker中运行的Kafka

我在本地计算机上设置了一个单个节点kafka docker容器,如汇合文档(步骤2-3)。 此外,我还暴露了Zookeeper的端口2181和Kafka的端口9092,以便我能够…

久光 2025-02-12 19:46:12 2 0

Spring Kafka-批处理处理不起作用

我有Spring Kafka消费者,我想每60秒消耗50张记录。我转介了几个文档,并配置了我的应用程序,例如> 消费者配置 @Bean public ConsumerFactory co…

如何视而不见 2025-02-12 19:43:08 5 0

通过农场暂停卡夫卡消费者分区

我们将我们的卡夫卡消费者指向销售负载平衡的分区。 当使用REST控制器端点暂停Kafka消费者时,服务只会停止一些分区,而不是全部。我们希望所有分区都…

独孤求败 2025-02-12 18:54:28 1 0

重新平衡期间多个Kafka心跳失败的消息

我有一个Kafka应用程序,消费者正在调查消息。每个消息处理大约需要30-40分钟。我已经对以下设置进行了调整,以使我的消费者实例不会从小组中删除,这…

箹锭⒈辈孓 2025-02-12 18:52:04 3 0

如何通过从制作人的视频字节发送字节并收集每个字节并将其转换为数组

这是生产者配置。 import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.common.serialization.StringSerializer; imp…

没有心的人 2025-02-12 18:50:28 1 0

如何通过流读取Kafka主题的数据

我想在kafka中创建 my_stream ,该从 my_topic 读取数据消息,然后将其推到另一个 target_topic 。使用KSQL语句: 使用(KAFKA_TOPIC ='target_topic'…

沫雨熙 2025-02-12 18:19:03 2 0

在Springboot测试中禁用Kafka连接

我正在按照微服务体系结构进行Springboot项目,并使用Kafka作为活动总线来交换其中一些数据。我还进行了JUNIT测试,这些测试测试了我的应用程序的某些…

栀梦 2025-02-12 17:53:28 2 0

我可以使用不同类型的AVRO架构对不同主题使用单个S3-Sink连接器指向时间戳字段的同一字段名称?

主题t1架构T1 { "type": "record", "name": "Envelope", "namespace": "t1", "fields": [ { "name": "before", "type": [ "null", { "type": "record"…

一页 2025-02-12 17:16:19 2 0

同时使用反应堆Kafka同时处理时,请重试食用消息

我有一个项目,可以在其中消费来自传入的主题过程中的消息,并将其发送到传出主题。现在,考虑到即将发出的主题是关闭的,因为某些基础架构问题在发送…

独行侠 2025-02-12 16:02:26 0 0
更多

推荐作者

櫻之舞

文章 0 评论 0

弥枳

文章 0 评论 0

m2429

文章 0 评论 0

野却迷人

文章 0 评论 0

我怀念的。

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文