Azure 数据工厂数据流 - Parquet、架构和数据类型“任意”

发布于 2025-01-12 03:52:10 字数 521 浏览 4 评论 0 原文

我在 Azure 数据工厂中有一个数据流,它正在从 Parquet 文件读取数据。除了一个文件之外,它对所有文件都运行顺利。 数据流失败并出现错误:无法从文件读取或转换架构... 进入调试模式后,我意识到数据流将我的一列视为数据类型 any(请参见下面的屏幕截图)。在原始文件中,架构读取此列的TIME_MILLIS 类型。我如何告诉数据流至少将此列视为 Text

输入图片此处描述

在此处输入图像描述

I have a Data Flow in Azure Data Factory who is reading data from a Parquet file. It works smooth for all the files except one.
The Data Flow is failing with the error: Could not read or convert schema fro the file ...
After going into debug mode, I realise that one of my column was treated by the data flow as data type any(see screenshot below). In the original file the schema read the type TIME_MILLIS for this column. How can I tell Data Flow to treat this column as Text at least?

enter image description here

enter image description here

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

沙沙粒小 2025-01-19 03:52:10

如果这是从导入投影方法自动推断的,您可以尝试在源数据集属性中从文件手动导入架构

如果这没有帮助,您可以使用派生列步骤和转换为所需的数据类型/en-us/azure/data-factory/data-flow-conversion-functions#conversion-function-list" rel="nofollow noreferrer">转换函数

If this is being inferred from the Import projection method automatically, you can try manually importing the schema from a file in the source dataset properties.

If that doesn't help, you can cast that specific column into required data type using Derived Column step with conversion functions.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文