无法连接到本地 Docker 容器中的单个 Kafka 代理
我正在使用 Wurstmeister Docker Image 尝试运行一个非常基本的单一代理 Kafka 服务器用于测试我的应用程序。 这是一个简单的docker-compose.yml： ve…
PySpark -Streaming- java.lang.ClassNotFoundException：org.apache.kafka.common.serialization.ByteArraySerializer
我正在 kubernetes 环境中提交 PySpark Streaming 作业。该作业使用来自 kafka 的数据并使用 pyspark 对其进行处理。 火花版本：3.2.1， Apache Kafka…
KSQL：无效的连接条件：当连接超过 2 个表时，不支持将外键表-表连接作为 n 路的一部分
我有 3 个主题，其中包含 KAFKA_INT 关键 客户、订单、订单详细信息 当我仅连接 2 个表时 select * from orders o join customer c on o.custid = c.c…
如果微服务在 kafka 提交之前崩溃，kafka 消息会发生什么情况？
我是 kafka 的新手。我有一个使用 java 微服务的 Kafka Stream，它使用生产者和进程生成的来自 kafka 主题的消息。 kafka 提交间隔已使用 auto.commit…
读取没有 schema 的 Json Kafka 消息
目前我们正在开发包含 Json 数据的实时数据源。 在阅读以下示例时 - https://sparkbyexamples.com/spark/spark-streaming-with-kafka/ 看起来我们需要…
Clickhouse客户端语法错误kafka集成
关注此博客文章-https://altinity.com/blog/2020/5/21/clickhouse-kafka-engine-tutorial ClickHouse 客户端版本 18.16.1，我在创建表时 CREATE TABLE…
Kafka Consumer 在简单的 Java 应用程序中工作，但在 Spring 上下文中失败
我定义了一个 kafka 消费者，如下面的代码所示。当我从 main 方法运行时，它运行、验证和消耗良好。但是，如果我将此类转换为 spring 组件，则在启动 …
Jsr223 采样器将 null json 发送到 kafka 主题
我正在使用 jsr223 采样器使用 kafka 客户端 jar 将 json 消息发布到 kafka。当我发布消息时，kafka 中的消息为空。有人能告诉我我错过了什么吗？实际…
在重新平衡过程中将任务从一个 Pod 移动到另一个 Pod 时，有状态 Kafka Stream 进程会丢失状态
在重新平衡过程中将任务从一个 Pod 移动到另一个 Pod 时，有状态 Kafka Stream 进程会丢失状态。 终止 pod 时，它会重新启动，并且任务仍分配给同一个…
同一组下不同分区上的 Kafka Consumer 仍然间歇性地消费相同的消息
我有 1 个消费者组和 5 个消费者。也有 5 个分区，因此每个消费者获得 1 个分区。 CLI 还显示 bin/kafka-topics.sh --describe --bootstrap-server lo…
如何为 Kafka 提供通用的反序列化器
我正在进行从整体架构到微服务架构的迁移，因此我们计划使用Kafka作为代理。 我一直在我的项目中使用 kafka-client 依赖项 因此，对于每个主题，我都…
窗口 KTable 上的 Kafka 操作
我想对窗口 KTable 进行一些进一步的操作。为了提供一些背景知识，我有一个主题，其数据格式为：{clientId, txTimestamp, txAmount}。从本主题中，我…
Sleuth 3.0.3 无法在 kafka 日志中与 Kafka 配合使用
我是侦探新手。 我添加了侦探依赖项，如下所示。 org.springframework.cloud spring-cloud-starter-sleuth 并对正常日志的日志模式进行了相应的更改，…
