列名映射不正确

发布于 2025-01-09 21:19:41 字数 641 浏览 1 评论 0原文

我尝试使用 Azure 数据工厂将数据从本地数据湖拉取/加载到 Azure 数据湖。

我只是发出查询来提取所有列。我的接收器是 Azure Data Lake Gen2。

输入图片这里的描述

但是我的列名称在源和接收器中出现错误。
我在本地数据湖中的列名称类似于 user_idlst_nm 等。但在 Azure 中,它类似于 user_tbl.user_id >user_tbl.lst_nmetc 这里 user_tbl 是我的表名。
我不希望将表名添加到列中。

输入图片此处描述

I was trying to pull/load data from on-prem data lake to azure data lake using Azure Data Factory.

I was just giving query to pull all the columns. My Sink is Azure Data Lake Gen2.

enter image description here

But my Column names are coming wrong in source and sink.
My columns name in on-prem data lake are like user_id, lst_nm, etc. But in Azure it is like user_tbl.user_id, user_tbl.lst_nm , etc Here user_tbl is my table name.
I don't want table name getting added to columns.

enter image description here

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

写下不归期 2025-01-16 21:19:41

Azure 不会将表名称本身添加到列中,您能否使用 ADF 中的预览数据检查发送到源的选择查询的输出,这将显示 ADF 从源获取的实际列名称,如果没有没有表名前缀,请检查您的 ADLS Gen 2 目标文件夹是否已有任何文件,如果有,则删除该文件并再次尝试运行管道

Azure won't add the table name itself to the columns, can you check the output of select query that you are sending to source using preview data in ADF, that will show you the actual column names ADF is getting from source and if it doesn't have the table name prefixed then please check if your ADLS Gen 2 destination folder already have any file, if yes then remove the file and try running the pipeline again

倾城°AllureLove 2025-01-16 21:19:41

不要使用复制活动,而是使用数据流转换,它允许您动态更改目标处的列名称。

或者您也可以使用移动和转换活动,它也允许您更改列名称。参考官方教程:动态设置列名在数据流中

同时检查ADF 映射数据流:创建规则以修改列名称

Instead of using Copy activity, use Data flow transformation which allows you to change the Column name at destination dynamically.

Or you can also use Move and transform activity which also allows you to change column name. Refer official tutorial: Dynamically set column names in data flows

Also check ADF Mapping Data Flows: Create rules to modify column names

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文