使用SSIS或SQL将多个CSV文件加入单个表

Question

SSIS初学者，在过去十年中，在GitHub中遵循编码语言性能的项目。我有3个数据集：

1. REPOS
2. 拉请求
3. 问题。

问题数据集如下：

的示例，这是repos dataset

。

我的第一期，我不需要这个季度。 其次，以及如何将这些平面文件合并到一个表格和总和数据的原因是什么，

Language | Nbr of repos | Nbr of Pull requests | Year

这将是非常感谢的，我尝试了许多方法来弄清楚它，但无法实现我的目标m寻找。

Answer 1

1-如果您不需要数据，请不要使用它。最好是，不要将其带入DataFlow管道中，而仅仅因为它在那里，这并不意味着您需要使用它。

我会主张将每个文件/选项卡/数据集降落到数据库中的匹配表中。它使您能够确保您降落与所提供的数据完全相同。完成此操作后，编写一个自定义查询以将各种表连接在一起。类似于

SELECT
    R.language
,   R.num_repos AS [Nbr of repos]
,   SUM(PR.[count]) AS [Nbr of Pull requests]
,   PR.year
FROM
    dbo.repos AS R
    -- Assuming inner is accurate
    INNER JOIN
        dbo.PullRequests AS PR
        ON PR.name = R.language
GROUP BY
    R.language
,   R.num_repos
,   PR.year;

总和和组之类的事实反映了您可能希望每年获得总数，并且由于数据似乎是每季度报告的，因此应该将其结合起来。或者，这可能是您需要获得给定名称和计数的最后一个季度所需的半添加数据（语言Monkeybrainz在Q3 2021中将其重命名为Laconicape，因此MB的最后一个条目是在Q3 2021中，la开始Q4 Q4 ，2021）

然后，您可以将该自定义查询用作SSIS中的源来生成您的提取物（到CSV，Excel，to Excel，to apooche flerken-在2033年将是巨大的）

SSIS路由

将数据列入SSIS中有一些选项：SSIS：合并加入，查找，脚本任务。

合并加入需要根据密钥对数据进行排序。在这种情况下，名称/语言需要从源组件（Flat File/Excel？）进行排序转换。那被送入合并加入。

如果您在拉的请求中都有所有4个季度，并且想要一年的总统计数据，则您可能需要在源和排序之间进行汇总转换，以按名称和年度计数，或者如果是半添加的，然后找到名字和年份的最后一个季度。

非排序方法将涉及两个数据流和查找组件。查找最多可以进行一场比赛。在提供的屏幕截图中，我假设拉动请求是“驱动程序”表，因为从“成立年”到当前，C ++将在其中。而您的存储库数据集只有一次只有C ++。因此，我们将从REPOS数据集中的一些字段中扩大“当前”行。

这里唯一的打ic是，查找支持来自OLE DB提供商或SSIS Cache Connection Manager的数据。同样，假设您的数据是平面文件/excel，我们需要使用CACHENCENT CONNECTION MANAGAR。

数据流1将使用我们的回购数据“ prime the Pump”。您的数据流将是来源 - ＆GT;缓存连接转换

将CACHEnction Manager中的密钥定义为语言

缓存连接管理器

在数据流2中，您将使用带有Cache Connection Manager源的查找转换，然后将其映射到语言中，然后单击检查在语言和num_repos旁边的框，将它们带入您的管道中。

最后，将结果写给您需要的任何地方。