如何记录并行源数据流ADF中的错误
我必须通过阅读subtest.cdm.json文件来进行一些数据工程。 添加管道运行ID列，然后推到SQL数据库。
我有一个JSON列表文件，它需要参数才能读取cdm json文件 of dataflow源。
以前的方法：我使用foreach，并将参数传递给dataflow带有单个活动然后捕获错误。但是，对于每个，将数据流与一起使用
。但是在这里，我无法捕获错误。如果任何源出现错误，所有数据流活动都会失败。而且，如果我在DataFlow活动中选择SKIP错误，我将不会遇到任何错误。
因此，应该从当前批准中获得错误是什么。
I have to do some data engineering by reading manifest.cdm.json files from datalake.
add pipeline run id column and push to sql database.
I have one json list file which have required parameter to read CDM json file in source of dataflow.
Previous Approach: I used Foreach and passed parameter to dataflow with single activity then error capturing. But use of Dataflow with for each costs too much..
Current Approch: I mannually created Dataflow with all cdm files. But here I'm not able to capture error. If any source got error all dataflow activity fails. and If I select skip error in dataflow activity I'm not getting any error.
So what should be the approch to get errors from current approch.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
您可以使用
设置变量活动在Azure Data Factory中捕获错误。使用下面的表达式使用SET变量活动捕获错误消息：
@Activity（'data Flow1'）。error.message后来您可以将错误消息存储在blob存储中使用
复制活动进行将来的参考。在下面的示例中，我们使用DelimitedText数据集将错误消息保存在.csv文件中。You can capture the error using
set variableactivity in Azure Data Factory.Use below expression to capture the error message using Set Variable activity:
@activity('Data Flow1').Error.messageLater you can store the error message in blob storage for future reference using
copy activity. In below example we are saving error message in .csv file using DelimitedText dataset.