如何拆分平面文件数据并加载到数据库中的父子表中？

Question

我有需要导入到父子表中的非规范化数据（来自文件）。源数据是这样的：

Account#    Name        Membership    Email
101         J Burns     Gold          [email protected]
101         J Burns     Gold          [email protected]
101         J Burns     Gold          [email protected]
227         H Gordon    Silver        [email protected]
350         B Clyde     Silver        [email protected]
350         B Clyde     Silver        [email protected]

我应该使用哪些 SSIS 片段、部分或策略将前三列读入父表，将第四列（电子邮件）读入子表？对于允许我采用的父键，我有多个选项：

• 直接使用 Account# 作为主键
• 在导入过程中使用 SSIS 生成的代理键
• 配置身份主键

我确信我已经列出了我的主键关键选项按难度递增的顺序排列。我有兴趣知道如何执行第一个和最后一个选项 - 我将推断如何实现中间选项。再次强调，我对 SSIS 解决方案很感兴趣；我正在寻找使用 SSIS 语言的答案，而不是过程性的、技术中立的答案。

我的问题有点类似于 另一个SO问题，有一个模糊的可行性答案。希望能给予更详细的指导。我已经知道如何通过创建“暂存”中间步骤来解决这个问题，其中父子分离实际上是通过直接 SQL 来处理的。然而，我很好奇如果没有这种中间步骤如何做到这一点。

在我看来，这种导入是如此普遍，以至于会有一种已发表的公式化方法来处理它——SSIS 擅长的一种技术。到目前为止，我还没有看到任何直接的答案。

更新#1：根据评论，我调整了示例数据，使其更加明显地非规范化。我还从“平面文件”中删除了“平面”，以便语义不会干扰问题。

更新#2：我对使用 SSIS 语言的解决方案更加感兴趣。

Answer 1

这是您在加载父子数据时可以考虑的一种可能的选择。该选项由两个步骤组成。在第一步中，读取源文件并将数据写入父表。在第二步中，再次读取源文件并使用查找转换来获取父表信息，以便将数据写入子表。以下示例使用问题中提供的数据。此示例是使用 SSIS 2008 R2 和 SQL Server 2008 数据库创建的。

分步过程：

1. 创建一个名为 Source.txt 的示例平面文件，如屏幕截图 #1 所示。

2. 在 SQL 数据库中，使用 SQL 脚本 部分中给出的脚本创建两个名为 dbo.Parent 和 dbo.Child 的表。这两个表都有一个自动生成的标识列。

3. 在包上，放置一个 OLE DB 连接 以连接到 SQL Server 和 平面文件连接 以读取源文件，如屏幕截图所示 #2 。配置平面文件连接，如屏幕截图 #3 - #9 所示。

4. 在“控制流”选项卡上，放置两个数据流任务，如屏幕截图 #10 所示。

5. 在名为 Parent 的数据流任务中，放置平面文件源、排序转换和 OLE DB 目标，如屏幕截图 #11 所示。

6. 配置平面文件源，如屏幕截图 #12 和 #13 所示。我们需要读取平面文件源。

7. 配置排序转换，如屏幕截图 #14 所示。我们需要消除重复值，以便仅将唯一记录插入到父表 dbo.Parent 中。

8. 配置 ole db 目标，如屏幕截图 #15 和 #16 所示。我们需要将数据插入到父表 dbo.Parent 中。

9. 在名为 Child 的数据流任务中，放置平面文件源、查找转换和 OLE DB 目标，如屏幕截图 #17 所示。

10. 配置平面文件源，如屏幕截图 #12 和 #13 所示。此配置与之前数据流任务中的平面文件源相同。

11. 配置查找转换，如屏幕截图 #18 和 #20 所示。我们需要使用文件中存在的其他关键列从表 dbo.Parent 中找到父 ID。这里的关键列是帐户、姓名和电子邮件。如果文件碰巧有一个唯一的列，您可以单独使用该列来获取父 ID。

12. 配置 ole db 目标，如屏幕截图 #21 和 #22 所示。我们需要将电子邮件列以及父 ID 插入到表 dbo.Child 中。

13. 屏幕截图 #23 显示包执行之前中的表中的数据。

14. 屏幕截图 #24 和 #25 显示示例包执行情况。

15. 屏幕截图 #26 显示包执行之后的表中的数据。

希望有帮助。

SQL 脚本：

CREATE TABLE [dbo].[Child](
    [ChildId] [int] IDENTITY(1,1) NOT NULL,
    [ParentId] [int] NULL,
    [Email] [varchar](21) NULL,
CONSTRAINT [PK_Child] PRIMARY KEY CLUSTERED ([ChildId] ASC)) ON [PRIMARY]
GO

CREATE TABLE [dbo].[Parent](
    [ParentId] [int] IDENTITY(1,1) NOT NULL,
    [Account] [varchar](12) NULL,
    [Name] [varchar](12) NULL,
    [Membership] [varchar](14) NULL,
CONSTRAINT [PK_Parent] PRIMARY KEY CLUSTERED ([ParentId] ASC)) ON [PRIMARY]
GO

屏幕截图 #1：

屏幕截图#2:

屏幕截图 #3:

屏幕截图 #4：

屏幕截图 #5：

屏幕截图 # 6：

屏幕截图 #7：

屏幕截图 #8：

屏幕截图 # 9：

屏幕截图 #10：

屏幕截图 #11：

屏幕截图#12:

屏幕截图 #13:

屏幕截图 #14:

屏幕截图 #15：

屏幕截图 #16：

屏幕截图 #17：

屏幕截图 #18：

屏幕截图 #19：

屏幕截图#20:

屏幕截图 #21:

屏幕截图 #22:

屏幕截图 #23：

屏幕截图 #24：< /strong>

屏幕截图 #25：

屏幕截图 #26：

Answer 2

如果数据已排序并且 Account# 是整数，我会：

将电子邮件插入表中（添加自动增量列，这是最佳实践）。

1  101    [email protected]
2  101    [email protected]
3  101    [email protected]
etc.

然后我会将其他记录插入到父表中。

• 使用 Account# 作为主键
• ，省略电子邮件地址，
• 跳过重复项（如果数据
  已排序）。

如果您有外键关系设置，则需要先执行第二步（以避免出现任何孤立记录）。

我的两分钱：我不知道你的要求是什么，但它似乎有点过度标准化。如果电子邮件地址的数量有一个小的限制，我会考虑在主表中添加几个电子邮件列......以提高速度和简单性。