如何在使用 SSIS 导入数据库之前验证 CSV 文件？

Question

我有包含三列的 CSV 文件。

sno  sname  quantity
---  -----  --------
 1   aaa    23
 2   bbb    null
 3   ccc    34
 4   ddd    ddd
 5   eee    xxx
 6   fff    87

SQL Server数据库中的表如下/

CREATE TABLE csvtable
(       sno         int
    ,   sname       varchar(100)
    ,   quantity    numeric(5,2)
)

我创建了一个SSIS包来将csv文件数据导入到数据库表中。我在包执行期间收到错误，因为数量是字符串。我创建了另一个表来存储无效数据。

CREATE TABLE wrongcsvtable
(       sno         nvarchar(10)
    ,   sname       nvarchar(100)
    ,   quantity    nvarchar(100)
)

在 csvtable 中，我想存储以下数据。

sno  sanme   quantity
---  ------  --------
 1   aaa     23
 3   ccc     34
 6   fff     87

在wrongcsvtable中，我想存储以下数据。

sno  sanme   quantity
---  ------  --------
 2   bbb     null
 4   ddd     ddd
 5   eee     xxx

有人可以指出我实现上述输出的正确方向吗？

Answer 1

这是一种可能的选择。您可以使用数据流任务中的数据转换转换来实现此目的。以下示例展示了如何实现这一点。该示例使用 SSIS 2005 和 SQL Server 2008 数据库。

分步过程：

1. 创建一个名为 FlatFile.CSV 的文件，并使用屏幕截图 #1 中所示的数据填充该文件。

2. 在 SQL 数据库中，使用 SQL 脚本 部分下提供的脚本创建两个名为 dbo.CSVCorrect 和 dbo.CSVWrong 的表。表 dbo.CSVWrong 中的字段应具有数据类型 VARCHAR 或 NVARCHAR 或 CHAR，以便可以接受无效记录。

3. 在 SSIS 包上，创建一个名为 SQLServer 的 OLE DB 连接以连接到 SQL Server 数据库，并创建一个名为 CSV 的平面文件连接。请参阅屏幕截图#2。配置平面文件连接 CSV，如屏幕截图 #3 - #7 所示。平面文件连接中的所有列应配置为字符串数据类型，以便包在读取文件时不会失败。

4. 在包的“控制流”选项卡上，放置一个数据流任务，如屏幕截图 #8 所示。

5. 在包的“数据流”选项卡上，放置一个平面文件源并按屏幕截图 #9 和 #10 中所示进行配置.

6. 在包的“数据流”选项卡上，放置一个数据转换转换并对其进行配置，如屏幕截图#11所示。单击配置错误输出并将错误和截断列值从失败组件更改为重定向行。请参阅屏幕截图 #12。

7. 在包的“数据流”选项卡上，放置一个 OLE DB 目标，并将绿色箭头从数据转换连接到此 OLE DB目的地。配置 OLE DB 目标，如屏幕截图 #13 和 #14 所示。

8. 在包的“数据流”选项卡上，放置另一个 OLE DB 目标 并将红色箭头从数据转换连接到此 OLE DB目的地。配置 OLE DB 目标，如屏幕截图 #15 和 #16 所示。

9. 屏幕截图 #17 显示完全配置后的数据流任务。

10. 屏幕截图 #18 显示包执行之前中的表中的数据。

11. 屏幕截图 #19 显示数据流任务中的包执行。

12. 屏幕截图 #20 显示包执行后表中的数据。

希望有帮助。

SQL 脚本：

CREATE TABLE [dbo].[CSVCorrect](
    [Id] [int] IDENTITY(1,1) NOT NULL,
    [SNo] [int] NULL,
    [SName] [varchar](50) NULL,
    [QuantityNumeric] [numeric](18, 0) NULL,
CONSTRAINT [PK_CSVCorrect] PRIMARY KEY CLUSTERED ([Id] ASC)) ON [PRIMARY]
GO

CREATE TABLE [dbo].[CSVWrong](
    [Id] [int] IDENTITY(1,1) NOT NULL,
    [SNo] [varchar](50) NULL,
    [Quantity] [varchar](50) NULL,
    [SName] [varchar](50) NULL,
    [ErrorCode] [int] NULL,
    [ErrorColumn] [int] NULL,
CONSTRAINT [PK_CSVWrong] PRIMARY KEY CLUSTERED ([Id] ASC)) ON [PRIMARY]
GO

屏幕截图 #1：

屏幕截图#2:

屏幕截图 #3:

屏幕截图 #4：

屏幕截图 #5：

屏幕截图 # 6：

屏幕截图 #7：

屏幕截图 #8：

屏幕截图 # 9：

屏幕截图 #10：

屏幕截图 #11：

屏幕截图#12:

屏幕截图 #13:

屏幕截图 #14:

屏幕截图 #15：

屏幕截图 #16：

屏幕截图 #17：

屏幕截图 #18：

屏幕截图 #19：< /strong>

屏幕截图 #20：

Answer 2

在数据流中放置条件分割。检查数量是否不完整。您创建的分支将转到wrongcsvtable，默认分支将转到csvtable

编辑忘记了没有数字测试有条件的分裂。您应该做的是添加一个派生列转换，将数量字段转换为整数。在“配置错误输出”对话框中，将错误和截断值设置为“忽略失败”。如果数据不是数字，这将传递该项目，并将新字段的值设置为 NULL。之后，在条件分割中，检查新字段是否为空。具有空字段的记录将转到错误的csv表，其他记录将转到csv表。