Azure 数据工厂中正在处理的变量的动态列表

Question

我有一个查找配置表，用于存储 1) 源表和 2) 要处理的变量列表，例如：

SQL 查找表：

tableA、variableX、 variableY,variableZ <-- tableA 不止这3个变量，即还有其他变量如variableV、变量W但不需要处理

tableB， variableA,variableB <-- tableB 不止这两个变量

因此，我需要动态连接到每个表并处理每个表中的特定变量。处理步骤是将儒略日期（整数格式）转换为标准日期（日期格式）。 SQL 查询示例：

select dateadd(dd, (variableX - ((variableX/1000) * 1000)) - 1, dateadd(yy, variableX/1000, 0)) FROM [dbo].[tableA]

问题是在 ADF 中设置 lookup 和 forEach 后，我不确定如何循环遍历变量数组（或字符串，因为 SQL DB 不允许我存储数组结果）并将所有这些变量转换为标准时间格式。

返回结果应该是要导出到接收器的处理后的数据集。

因此想检查一下在 ADF 中实现这一目标的最佳方法是什么？

谢谢你！

Answer 1

我在当地环境中重现过。请参阅以下步骤。

1. 使用查找活动，首先从控制表中获取所有表列表。

2. 将查找输出传递给 ForEach 活动。

3. 在 ForEach 活动中，添加查找活动以从控制表中获取变量列表，其中表名称是 ForEach 活动中的当前项目。

    @concat('从 control_tb 选择 table_variables，其中 table_name = ''',item().table_name,'''')
   

4. 使用设置变量活动将 Lookup2 活动输出值转换为数组。

@split(activity('Lookup2').output.firstRow.table_variables,',')

5. 创建另一个具有 2 个参数的管道 (pipeline2)（表名称（字符串）和变量（数组））并在 pipeline2 中添加 ForEach 活动

6. 将数组参数传递给 pipeline2 中的 ForEach 活动，并使用复制活动将数据从源复制到接收器

7. 将执行管道活动连接到 ForEach 活动内的管道 1。