apache-kafka-connect

apache-kafka-connect

文章 0 浏览 1

kafka connect s3源抛出java.io.ioexception

kafka Connect S3源连接器将以下例外列出约20秒钟,以读取一个s3 buccet: Caused by: java.io.IOException: Attempted read on closed stream. at or…

凶凌 2025-02-08 23:40:03 2 0

Debezium-是否有任何解决方案可以解决“数据库历史主题”。错误

为数据库中的每个表分别创建了Debezium连接器。连接到同一数据库的连接器共享相同的数据库。连接器也将schema_only用于snapshot.mode。 DB历史主题缺…

眼睛会笑 2025-02-08 23:37:59 3 0

无法找到任何实现连接器的类,哪个名称与FileStreamSource匹配

我遵循Kafka快速入门指南。不过,我被卡在第6步中,将数据导入/导出您的数据作为事件流... https:// kafka.apache.org/documentation/ 错误表明kafka…

红ご颜醉 2025-02-08 12:21:12 3 0

如何使用源连接器在KAFKA主题上配置事件密钥

有一个带有架构的现有Kafka主题,我想将事件从具有不同属性的另一个表流传输到使用变换的现有主题。我使用Renamefield SMT避免模式不匹配问题,但这无…

长亭外,古道边 2025-02-08 11:30:04 2 0

更改死信主题默认保留时间

我们已启用了JDBC接收器连接器的死字队列。默认保留政策为7天,但对于DLQ,我们希望将其减少为1天。以下是我们的水槽连接器中DLQ的属性。 'errors.tol…

杯别 2025-02-08 06:00:26 2 0

使用Kafka Connect的Oracle数据库安装Java驱动程序

这是在Kafka Connect日志中显示的错误。我正在使用kafka-connect作为Debezium的连接器。 java.lang.RuntimeException: Failed to resolve Oracle data…

浅笑依然 2025-02-07 22:28:44 2 0

缺少所需的配置“名称”尝试Kafka时没有默认值

我的配置/sf_connect.properties文件 tasks.max=8 topics=topic1,topic2 snowflake.topic2table.map= topic1:table1,topic2:table2 buffer.count.reco…

夏末染殇 2025-02-07 21:01:24 2 0

Debezium SQL Server源连接器每天仅每天仅一次事件

我面临的问题是,我的Debezium SQL Server源连接器不是实时流媒体捕获CDC,而是每天每天一次流式传输所有事件 19:07:29 。以下是示例记录, "source":…

司马昭之心 2025-02-07 18:30:55 3 0

在Kafka接收器中批处理时,减少offset.flush.interval.ms的缺点和替代方案

我在自定义的kafka连接接收器连接器中进行批处理,因此并非每个调用 put> put()都会将数据写出,但是大多数调用只会将项目添加到内部缓冲区中。现在…

嗼ふ静 2025-02-07 16:30:24 2 0

如何检查一个主题是否可用

我正在尝试编写一个条件,在实施Kafka-Camel路线之前,我检查是否有目标主题。如果丢失了主题,则不会发生路由。 我这样做的原因是,当没有主题并调用…

时光礼记 2025-02-07 13:45:09 3 0

kafka HDFS水槽连接器具有恒定滞后偏移

我有一个 kafka hdfs hdfs hdfs sink connector 。 kafka_consumergroup_group_lag 来自 kafka lag exporter 图: 请注意,该主题每天接收一次消息,…

厌味 2025-02-07 05:32:50 2 0

kafka mirrormaker 2从最新偏移而不是最早复制

我有一个与Mirrormaker 2的群集A到群集B的主题复制的问题。我想从最新偏移量中复制这些主题,而不是从一开始就复制它们。但是,当我设置 auto.offset.…

你的笑 2025-02-07 02:26:03 2 0

将事件类型从同一Kafka主题到不同的S3存储

我有一个要求,我将获得JSON消息(带有不同的模式)到同一Kafka主题。但是,当同步到S3时,我必须基于模式将其写入S3的不同文件夹。 您能否让我知道如…

傲鸠 2025-02-06 08:46:20 2 0

Kafka连接接收器连接器,带有多个分区主题

我们想使用Kafka Connect接收器连接器,以将消息从Kafka复制到Mongo DB。 在我们的用例中,我们有多个主题,每个主题都有一个分区(例如,可以将主题…

那支青花 2025-02-06 07:48:38 3 0

使用kafka的自动删除行?

我有一个内存数据库,我正在使用KAFKA + JDBCSINKCONNECTOR将下游Postgres数据库与内存数据库同步。内存数据库用于有效的计算,而Postgres则用于查询…

坚持沉默 2025-02-06 06:18:49 3 0
更多

推荐作者

alipaysp_snBf0MSZIv

文章 0 评论 0

梦断已成空

文章 0 评论 0

瞎闹

文章 0 评论 0

寄意

文章 0 评论 0

似梦非梦

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文