当前位置：文江博客话题详情

Pinot：可读日期时间格式的架构

发布于 2025-01-14 04:01:36 字数 151 浏览 0 评论 0原文

我正在将卡夫卡的实时数据消耗到皮诺中。数据的日期时间格式如下：

“Mon Mar 14 15:58:24 IST 2022”

我正在努力在架构文件中写入“dateTimeFieldSpecs”。你能帮我一下吗？

谢谢，

苏库马尔

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

后来的我们 2025-01-21 04:01:36

您可以使用转换函数来为您做到这一点。

首先将该列添加到常规 schema.json 中。之后，在表设置中添加一个转换函数，通常是table.json。该函数接受原始列并将其重新格式化为 Pinot 的类型。

但请记住，可能有必要检查服务器与本地时区，尤其是在实时表中。

查看这些文档

希望这有帮助！

回复收藏 0 原文

眉目亦如画i 2025-01-21 04:01:36

至少配置下面有两个选项对应于格式 yyyy-MM-ddTHH:mm:ss.SSSZ 的字段：

您可以将此字段定义为维度一：

    {
        "name": "Date1",
        "dataType": "TIMESTAMP"
    }
]

将字段定义为 dateTime：

"dateTimeFieldSpec": [
        {
            "name": "DateFeild",
            "dataType": "TIMESTAMP",
            "format": "1:MILLISECONDS:EPOCH",
            "granularity": "1:DAYS"
        }
    ]

添加转换函数到表配置：

"transformConfig": [
    {
        "columnName": "DateFeild",
        "transformFunction": "FromDateTime(\"Date1\", 'yyyy-MM-dd''T''HH:mm:ss.SSS''Z')"
    }
]

at least you have two options below config corresponds to field in format yyyy-MM-ddTHH:mm:ss.SSSZ:

you can define this field as dimension one:

    {
        "name": "Date1",
        "dataType": "TIMESTAMP"
    }
]

define field as dateTime:

"dateTimeFieldSpec": [
        {
            "name": "DateFeild",
            "dataType": "TIMESTAMP",
            "format": "1:MILLISECONDS:EPOCH",
            "granularity": "1:DAYS"
        }
    ]

with transform function added to table config:

"transformConfig": [
    {
        "columnName": "DateFeild",
        "transformFunction": "FromDateTime(\"Date1\", 'yyyy-MM-dd''T''HH:mm:ss.SSS''Z')"
    }
]

回复收藏 0 原文

~没有更多了~