Azure数据工厂 - 数据摄入和数据类型映射

发布于 2025-02-06 21:19:32 字数 154 浏览 3 评论 0原文

我们正在使用Azure Data Factory将数据摄入数据摄入数据摄入[通用数据服务应用程序]实体。我们看到来自DataVerse源中的列很少,这些列未复制到ADL中,特别是数据类型数据类型 - 选择。

ADF链接服务支持的所有数据列数据类型是否?请建议修复或任何解决方法。

We are performing data ingestion of Dataverse[Common data service apps] Entities into ADLS Gen2 using Azure Data Factory. We see few columns missing from Dataverse source which are not copied into ADLS, specifically with Dataverse Data type - Choice.

Are all Dataverse column data types supported by ADF linked service? Please suggest fix or any workaround.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

刘备忘录 2025-02-13 21:19:32

ADF链接服务支持的所有数据列数据类型是否?

是的,数据词支持所有列数据类型。

对于丢失的列,您应该考虑以下给定点:

  • 当您从动力学复制数据时,从动态到接收器的显式列映射是可选的。但是,我们强烈建议您进行映射,以确保确定的副本结果。
  • 当该服务在创作UI中进口架构时,它会渗透该架构。它是通过从动力查询结果中对顶部行采样来初始化源列列表的来做到的。在这种情况下,省略了顶行中没有值的列。如果没有明确的映射,则同样的行为也适用于数据预览和复制执行。您可以在映射中查看并添加更多列,这些列在复制运行时会很荣幸。

要使用ADF消耗数据词选择,您应该使用数据流活动并使用派生的转换,因为选择值是写入整数标签的,而不是文本标签来维持一致性在编辑期间。整数到文本标签映射存储在Microsoft.Athena.TrickleFeedService/table-entityMetata.json.json文件中。

请参阅此 Microsoft官方文档实现相同的文件。

Are all Dataverse column data types supported by ADF linked service?

Yes, dataverse supports all column data types.

For missing columns, you should consider the below given points:

  • When you copy data from Dynamics, explicit column mapping from Dynamics to sink is optional. But we highly recommend the mapping to ensure a deterministic copy result.
  • When the service imports a schema in the authoring UI, it infers the schema. It does so by sampling the top rows from the Dynamics query result to initialize the source column list. In that case, columns with no values in the top rows are omitted. The same behavior also applies to data preview and copy executions if there is no explicit mapping. You can review and add more columns into the mapping, which are honored during copy runtime.

To consume the dataverse choices using ADF, you should use data flow activity and use the derived transformation because choice values are written as an integer label and not a text label to maintain consistency during edits. The integer-to-text label mapping is stored in the Microsoft.Athena.TrickleFeedService/table-EntityMetadata.json file.

Refer this Microsoft official document to implement the same.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文