我会提出什么样的错误,所以我的消息最终出现在DLQ中
我有一个可能令人尴尬的问题,但我有点迷路了。 我已经阅读了这篇文章,我认为Kafkaconnect如何处理DLQ非常全面。 https://www.confluent.io/blog/kaf…
Pyspark从Kafka读取导致JSON数据损坏
我使用pyspark 2.4从kafka消耗,但是在施放包含消息的值列时 看起来像==>如下表中的表格=>幕, 知道我只是在消耗(我不知道生产者是如何制作…
Apache Kafka连接器监视和使用DataDog所需配置的警报
我们需要帮助实施雪花卡夫卡连接器的看门狗: 但是,按照DataDog的标准继续实施并实施 但是,Kafka连接器及其相关统计数据在此不可见。 下面的链接为…
雪花kafka连接JMX配置以获取雪花连接器指标
有人可以帮助我使用示例JMX配置文件,以从正在运行Snowflake Kafka连接器的Kafka Connect群集中获取指标。我能够获得大多数Kafka连接特定指标,但是,…
debezium postgresql连接器table.include.slist config Change时未更新
我在连接器中更新table.include.list有一个问题。 当我最初运行连接器时,一切正常。我在公共模式中有2个PSQL表:CN_ODER,dbz_signal。 curl -i -X P…
S3接收器连接器配置基于Debezium消息的操作类型
我们希望根据操作类型区分Kafka(来自Debezium)中的消息。 我们正在寻找基于Kafka操作类型的路由消息。 Debezium发送不同类型的操作类型,例如R(rea…
Confluent Kafka源连接器任务(DatagenConnector)数据序列化到AVRO格式中的错误
我正在尝试使用Confluent Kafka DataGenconnector从数据源连接器中产生数据,我将使用Confluent Schema注册表将值转换为AVRO格式。我用于创建源连接器…
Kafka Connect S3源无法与Minio合作
我已经验证了与Minio的连接,确保凭据正常工作,并且可以达到Minio。另外,如果我尝试 store.url = http:// minio:9000 我无法保存配置> kafka-conn…
如何通过流读取Kafka主题的数据
我想在kafka中创建 my_stream ,该从 my_topic 读取数据消息,然后将其推到另一个 target_topic 。使用KSQL语句: 使用(KAFKA_TOPIC ='target_topic'…
什么是Kafka Connect Runtime?
阅读有关Kafka Connect的信息,它被定义为执行任务的运行时。 说kafka Connect(或其他任何其他软件)是运行时,这是什么意思?它如何影响其与Kafka连…
我可以使用不同类型的AVRO架构对不同主题使用单个S3-Sink连接器指向时间戳字段的同一字段名称?
主题t1架构T1 { "type": "record", "name": "Envelope", "namespace": "t1", "fields": [ { "name": "before", "type": [ "null", { "type": "record"…
telnet中的JMX端口答案,但在JConsole中没有
我正在尝试在Docker下运行的Kafka Connect中启用JMX。我在我的docker-compose.yml中有以下配置: version: '2' services: connect-oracle-jmx: image:…
AWS MSK KAFKA连接S3水槽连接器
我们正在使用S3接收器连接器将AWS MSK的S3数据汇入S3存储桶中。 我们已经在AWS EKS(Kubernetes)上部署了KAFKA S3接收器连接器 当我们启动连接器在S3…
我可以在Couchbase中使用Kafka-Connect(CDC)观看一个字段吗?
我们正在尝试将数据库从MySQL移至Couchbase,并实现一些CDC(更改数据捕获)逻辑,以将数据复制到我们的新DB。 所有环境设置和运行。 Mysql,Debezium…