Kettle：按顺序填充字段而不发生冲突

Question

我有一个具有以下结构的数据流

user_id (integer)
user_name (string)

user_id 是 100 到 65536 之间的任何值。我想根据以下逻辑添加 target_user_id （整数）字段：

• If < code>user_id 在 1000..9999 范围内，则让 target_user_id 字段等于 user_id
• 如果不是，然后用 1000..9999 范围内的内容填充 target_user_id ，而不会引起冲突。最好尽可能最低。

流的长度小于9000。user_id字段在原始流中是唯一的。

Answer 1

我不确定您使用的是什么 Kettle 环境，但一般过程可能如下：

1. 创建一个临时数据库表（可能是内存数据库表）
2. 使用 user_id 1000..9999 和 user_name=null 的记录初始化它（使用 TableOutput )
3. 通过使用 user_name 更新相应的数据库记录，打开输入流并处理 user_id 1000..9999 的记录。 （使用更新）忽略所有其他记录。
4. 关闭并重新打开输入流

5. 通过以下方式处理 user_id 不在 1000..9999 的每个输入流记录：

   • 通过执行 SQL 查询 (DBLookup) 获取最低的未使用 user_id

     从临时表中选择 MIN(user_id)，其中 user_name 为 NULL；
     

   • 使用当前用户名更新此记录（使用更新）

6. 使用非空用户名（使用 TableInput）读取临时数据库表中的每条记录并写入输出流
7. 删除临时数据库表

希望这有帮助