Pentaho PDI：CSV每行的执行转换？

Question

这是我们试图做的蒸馏版。转换步骤是一个“表输入”：

SELECT DISTINCT ${SRCFIELD} FROM ${SRCTABLE}

我们想运行来自CSV中每一行的变量/参数的SQL：

SRCFIELD,SRCTABLE
carols_key,carols_table
mikes_ix,mikes_rec
their_field,their_table

在这种情况下，我们希望它运行三次转换，其中一个用于每个数据行CSV，从这些表中的这些字段中汲取唯一值。我希望有一种简单的方法可以做到这一点。

我认为唯一的困难是，我们没有偶然发现了正确的步骤/条目和正确的设置。

在“父”转换中四处张开，我们的最高希望是：

1. 我们尝试将csv文件输入链接到设置变量（希望将其馈送到转换epotutor一次一行），但是当我们从CSV中有多个行时，这会抓住。
2. 我们尝试了管道CSV文件输入直接到转换epecutor，但这仅将TE的“静态输入值”发送到子转换。

我们还使用作业探索了转换对象，我们非常希望偶然发现“ 执行每个输入行”的应用程序，但尚未弄清楚如何一次将数据输送到一排。

建议？

Answer 1

啊！

为此，我们必须使用两个转换来创建一个工作。第一个从CSV读取“参数”，第二行对于第一个CSV数据执行了一次职责。

在作业中，第一个转换是这样设置的：

1. options/logging/cognuments/parameters选项卡都将其留作default

2. 转换本身中的默认值

   （右键单击，打开引用的对象 - ＆gt;转换）：

   • 步骤1：CSV文件输入
   • step2：将行复制到结果＆lt; ==那是魔术部分

step2：将行复制到结果＆lt; ==这是工作中的 ，第二个转换的设置如下：

1. 选项：“执行每个输入行”

2. 记录/参数选项卡作为默认值

3. 参数：

   • 将结果复制到参数，检查
   • 将参数值传递给子转换，检查
   • 参数：srcfield;使用的参数：srcfield
   • 参数：srctable;使用的参数：srctable
4. 转换本身中的srctable

   （右键单击，打开引用的对象 - ＆gt;转换）：

   • 表输入“ 从$ {srctable}”选择不同的$ {srcfield}代码
   • 注意：必须检查“替换变量”

因此第一个转换将来自CSV的“配置”数据收集，并在一次时间录制中将这些值传递给第二个转换（因为检查了“执行每个输入行”）。

因此，现在有了这样的CSV：

SRCTABLE,SRCFIELD
person_rec,country
person_rec,sex
application_rec,major1
application_rec,conc1
status_rec,cur_stat

我们可以为所有这些特定字段提取不同的值，以及更多。而且很容易维护哪些表以及检查哪些字段。

将此想法扩展到数据流中，其中第二个转换更新数据amart中的代码字段并不是一件很大的范围：

SRCTABLE,SRCFIELD,TARGETTABLE,TARGETFIELD
person_rec,country,dim_country,country_code
person_rec,sex,dim_sex,sex_code
application_rec,major1,dim_major,major_code
application_rec,conc1,dim_concentration,concentration_code
status_rec,cur_stat,dim_current_status,cur_stat_code

我们需要拉动唯一的$ {targetTable}。$ {target field}值，请使用a <<代码>合并行（diff）步骤，使用filter行步骤仅查找'新''，然后a 执行SQL Script步骤以更新更新目标。

令人兴奋！