具有批次 ID 的 SSIS 类型 2 scd

Question

我想修改标准 SSIS SCD 行为。

EmployeeID 是我的业务密钥，职称、名字、姓氏是类型 2 属性。 我希望 BatchLogID 能够反映更改发生的时间 - 否则它保持不变。

传递到数据流

BatchLogID 作为 int EmployeeID,title,firstname,lastname,BatchLogID,startdate,enddate

源数据

101,Miss,Jane,Smith,101 -- 首次插入

101,Miss,Jane,Smith,102 进程运行

101 ,Jane,Smith 小姐,103 进程运行

101,Miss,Jane,Smith,104 进程运行

101,Mrs, Jane,Brown,105 进程运行 -- 仅当数据发生更改时我才希望目标中的批次号更新

目标数据

101,Miss ,Jane,Smith,101,101,1 jan 2000,null--首次插入

101,Miss,Jane,Smith,105,105,1 jan 2000,5 Jan 2000 -- 当检测到更改时，数据会更新

101,Mrs, Jane,Brown,105,105 jan 2000,null-- 仅当数据更改为 I 时想要更新批次号

有什么想法吗？

Answer 1

您可能需要使用以下方法执行增量加载：

• 查找和派生列
• 合并连接、条件拆分和派生列
• 更改数据捕获
• 临时表（如果 RDBMS 支持）

要了解更多信息：

https://www.c-sharpcorner.com/article/design-the-full-load-and-delta-load-patterns-in-ssis/

Answer 2

使用了 sql merge 命令 - 必须清洗两次

declare @batchLogID int= 1
MERGE dbo.targetTable AS t
USING dbo.sourceTable AS s `enter code here`
ON (t.[key] = s.[key] and t.endDate is null) 
WHEN MATCHED  and s.[value] <> t.[value] 
THEN UPDATE SET t.enddate = dateadd(ss,-1,cast(cast(getdate() as date) as datetime))
WHEN not MATCHED 
THEN INSERT (key,[col1], [col2], [value], [col3],startdate,BatchLogID) 
    VALUES (s.key,s.[col1], s.[col2], s.[value], s.[col3],cast(getdate() as date),@batchLogID)