列名映射不正确
我尝试使用 Azure 数据工厂将数据从本地数据湖拉取/加载到 Azure 数据湖。
我只是发出查询来提取所有列。我的接收器是 Azure Data Lake Gen2。
但是我的列名称在源和接收器中出现错误。
我在本地数据湖中的列名称类似于 user_id、lst_nm 等。但在 Azure 中,它类似于 user_tbl.user_id、 >user_tbl.lst_nm 、 etc 这里 user_tbl 是我的表名。
我不希望将表名添加到列中。
I was trying to pull/load data from on-prem data lake to azure data lake using Azure Data Factory.
I was just giving query to pull all the columns. My Sink is Azure Data Lake Gen2.
But my Column names are coming wrong in source and sink.
My columns name in on-prem data lake are like user_id, lst_nm, etc. But in Azure it is like user_tbl.user_id, user_tbl.lst_nm , etc Here user_tbl is my table name.
I don't want table name getting added to columns.
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
Azure 不会将表名称本身添加到列中,您能否使用 ADF 中的预览数据检查发送到源的选择查询的输出,这将显示 ADF 从源获取的实际列名称,如果没有没有表名前缀,请检查您的 ADLS Gen 2 目标文件夹是否已有任何文件,如果有,则删除该文件并再次尝试运行管道
Azure won't add the table name itself to the columns, can you check the output of select query that you are sending to source using preview data in ADF, that will show you the actual column names ADF is getting from source and if it doesn't have the table name prefixed then please check if your ADLS Gen 2 destination folder already have any file, if yes then remove the file and try running the pipeline again
不要使用
复制
活动,而是使用数据流
转换,它允许您动态更改目标处的列名称。或者您也可以使用
移动和转换
活动,它也允许您更改列名称。参考官方教程:动态设置列名在数据流中同时检查ADF 映射数据流:创建规则以修改列名称
Instead of using
Copy
activity, useData flow
transformation which allows you to change the Column name at destination dynamically.Or you can also use
Move and transform
activity which also allows you to change column name. Refer official tutorial: Dynamically set column names in data flowsAlso check ADF Mapping Data Flows: Create rules to modify column names