kafka connect s3源抛出java.io.ioexception
kafka Connect S3源连接器将以下例外列出约20秒钟,以读取一个s3 buccet: Caused by: java.io.IOException: Attempted read on closed stream. at or…
Debezium-是否有任何解决方案可以解决“数据库历史主题”。错误
为数据库中的每个表分别创建了Debezium连接器。连接到同一数据库的连接器共享相同的数据库。连接器也将schema_only用于snapshot.mode。 DB历史主题缺…
无法找到任何实现连接器的类,哪个名称与FileStreamSource匹配
我遵循Kafka快速入门指南。不过,我被卡在第6步中,将数据导入/导出您的数据作为事件流... https:// kafka.apache.org/documentation/ 错误表明kafka…
如何使用源连接器在KAFKA主题上配置事件密钥
有一个带有架构的现有Kafka主题,我想将事件从具有不同属性的另一个表流传输到使用变换的现有主题。我使用Renamefield SMT避免模式不匹配问题,但这无…
使用Kafka Connect的Oracle数据库安装Java驱动程序
这是在Kafka Connect日志中显示的错误。我正在使用kafka-connect作为Debezium的连接器。 java.lang.RuntimeException: Failed to resolve Oracle data…
缺少所需的配置“名称”尝试Kafka时没有默认值
我的配置/sf_connect.properties文件 tasks.max=8 topics=topic1,topic2 snowflake.topic2table.map= topic1:table1,topic2:table2 buffer.count.reco…
Debezium SQL Server源连接器每天仅每天仅一次事件
我面临的问题是,我的Debezium SQL Server源连接器不是实时流媒体捕获CDC,而是每天每天一次流式传输所有事件 19:07:29 。以下是示例记录, "source":…
在Kafka接收器中批处理时,减少offset.flush.interval.ms的缺点和替代方案
我在自定义的kafka连接接收器连接器中进行批处理,因此并非每个调用 put> put()都会将数据写出,但是大多数调用只会将项目添加到内部缓冲区中。现在…
kafka HDFS水槽连接器具有恒定滞后偏移
我有一个 kafka hdfs hdfs hdfs sink connector 。 kafka_consumergroup_group_lag 来自 kafka lag exporter 图: 请注意,该主题每天接收一次消息,…
kafka mirrormaker 2从最新偏移而不是最早复制
我有一个与Mirrormaker 2的群集A到群集B的主题复制的问题。我想从最新偏移量中复制这些主题,而不是从一开始就复制它们。但是,当我设置 auto.offset.…
将事件类型从同一Kafka主题到不同的S3存储
我有一个要求,我将获得JSON消息(带有不同的模式)到同一Kafka主题。但是,当同步到S3时,我必须基于模式将其写入S3的不同文件夹。 您能否让我知道如…
Kafka连接接收器连接器,带有多个分区主题
我们想使用Kafka Connect接收器连接器,以将消息从Kafka复制到Mongo DB。 在我们的用例中,我们有多个主题,每个主题都有一个分区(例如,可以将主题…
使用kafka的自动删除行?
我有一个内存数据库,我正在使用KAFKA + JDBCSINKCONNECTOR将下游Postgres数据库与内存数据库同步。内存数据库用于有效的计算,而Postgres则用于查询…