我可以让Kafka Connect服务作为独立服务吗
我在第一服务器中使用了Apache Kafka,在第二服务器中使用了Apache Zookeeper。 我想在其他服务器中拥有Kafka Connect服务。可以使用独立服务。我需要…
非法模式字符' t'当使用transforms.timestampconverter.format在kafka jdbc stink连接器中
我准备构建一个JDBC接收器连接器,以将KAFKA到PostgreSQL的一些数据编写。 我的源数据具有时间戳列,值将就像'2022-06-29T04:00:00z'。 kafka连接器…
kafka connect protobuf转换器找不到
我有一个Kafka S3-sink连接器,我正在生产消息。但是,当我将消息发送到主题时,我注意到我的水槽连接器的日志给我带来了一个错误: │ Invalid value…
如何从S3接收器中的信封类型架构中提取嵌套字段
AVRO架构: { "type": "record", "name": "Envelope", "namespace": "test", "fields": [ { "name": "before", "type": [ "null", { "type": "record"…
使用Kafka Connect时,如何根据AVRO方案转换所有时间戳字段?
在我们的数据库中,我们有20多个字段,我们需要从长时间转换为时间戳。为什么没有通用解决方案来传输所有这些值? 我知道我可以定义: "transforms":"…
如何在生产区域以分布方式运行Kafka连接
根据Confluent上的文档我们可以使用Connect Rest API来开始/停止/管理Kafka Connect-只想了解当我们在云上部署资源时,最好的方法是什么(在我的情况…
kafka分布式连接农产品重复消息
操作环境 三个服务器 三个KAFKA经纪人,Connect,架构registry(Confluent-7.1.0) 一个用于测试的FTP连接器(3个任务) 问题 Connect Connect connec…
在kafka Connect Contruent图像上使用JMX出口商在代理加载时间上投掷NosuchfieldException
我目前正在triy to揭露kafka connect workers jmx: 使用此docker映像: FROM cnfldemos/cp-server-connect-datagen:0.5.3-7.1.0 ADD --chown=1000:10…
处理MySQL中多个表的单个KAFKA主题消息
我正在阅读从SFTP连接器到KAFKA主题“ topic1”的CSV文件。 每个记录都包含许多列,这些列需要存储在MySQL数据库中的不同表中。 例如: 每条消息看起…
在本地Windows机器上运行Kafka
我正在通过在Windows 10机器(JVM)上运行KAFKA来尝试Kafka。卡夫卡(Kafka)和Zookeeper一起工作正常。我还试图运行Kafka连接到Docker内部运行的Post…
是否有KAFKA生产者API配置来设置主题自动创建?
kafka connect具有编程性创建主题的一组配置连接器+TO+SET+特定于主题的+设置+对于+新+主题“ rel =“ nofollow noreferrer”>,而无需依靠经纪人自动…
kafka connect' extractfield $ key' SMT结果在未知字段中'错误
我有一个Debezium Connector(在KSQLDB-Server上运行)的设置,该设置是从SQL Server CDC表流到KAFKA主题的流动值。我正在尝试将消息的键从JSON转换为…
Kafka Connect。 OffsetStoragereader仅在第一个民意调查()中引发异常。在下一个Poll()中获取sourceOffset无例外
线 context.offsetstoragereader()。offset(sourcePartition()); 在第一次民意调查中产生例外。 在下一次民意测验中,没有例外。是否可以在不包…
kafka Connect S3源连接器忽略密钥
我在AWS S3中有以下文件,由Kafka Connect Connect Connector备份: test_yordan_kafka_connect+0+0000023000.json test_yordan_kafka_connect+0+0000…