使用Kafka Connect时，如何根据AVRO方案转换所有时间戳字段？

Question

在我们的数据库中，我们有20多个字段，我们需要从长时间转换为时间戳。为什么没有通用解决方案来传输所有这些值？

我知道我可以定义：

"transforms":"tsFormat",
"transforms.tsFormat.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
"transforms.tsFormat.target.type": "string",
"transforms.tsFormat.field": "ts_col1",
"transforms.tsFormat.field": "ts_col2",

但这对我们来说不是解决方案。当我们在DB中添加新的时间戳时，我们也需要更新连接器，

是否有一些通用解决方案可以根据AVRO模式转换所有字段？

我们正在使用Debezium，在所有时间戳字段中都会创建类似的东西：

    {
      "name": "PLATNOST_DO",
      "type": {
        "type": "long",
        "connect.version": 1,
        "connect.name": "io.debezium.time.Timestamp"
      }
    },

因此，如何使用connect.name ='io.debezium.time.timestamp'找到所有类型

Answer 1

您需要编写自己的转换，以便能够动态迭代记录模式，检查类型并进行转换。

因此，为什么它们被称为简单消息转换。

另外，也许仔细研究Debezium属性，以查看是否缺少设置可以改变时间戳的产生方式。