为什么在导入 UTF-8 平面文件时 SSIS 无法识别换行符 {LF} 行分隔符？

Question

我正在尝试使用 SSIS 将数据从 utf-8 编码的平面文件导入到 SQL Server 2008 中。这是行数据末尾在 Notepad++ 中的样子：

我还有几张图像显示了内容文件连接管理器如下所示：

您可以看到数据在文件连接管理器预览中正确显示。当我尝试导入此数据时，没有导入任何行。我收到一条错误消息，指示未找到行分隔符。您可以在文件连接管理器图像中看到标题行分隔符和行分隔符都设置为 {LF}。这足以生成正确的预览，所以我不明白为什么它无法导入。我尝试了很多带来零结果的方法：

• 尝试使用 SSMS 中的向导导入...相同的结果
• 尝试使用数据转换，没有影响
• 尝试将行分隔符设置为 (0a)，相同的结果

[平面文件源 [582]] 警告： 已到达数据文件末尾 读取标题行。确保 标题行分隔符和行数 要跳过的标题行是正确的。

感谢您查看此内容，我非常感谢您提供的任何帮助。

Answer 1

原因：

由于列分隔符 Ç（"c" with cedilla）和 ，SSIS 无法读取文件并显示以下警告>不是，因为行分隔符{LF}（换行）。

[Read flat file [1]] Warning: The end of the data file was reached while 
reading header rows. Make sure the header row delimiter and the number of 
header rows to skip are correct.

下面是一个示例 SSIS 包，展示了如何使用脚本组件解决问题，最后还有另一个示例来模拟您的问题。

解决方案：

以下示例包是用 SSIS 2008 R2 编写的。它读取带有行分隔符 {LF} 的平面文件作为单个列值；然后使用脚本组件分割数据，将信息插入到SQL Server 2008 R2数据库的表中。

使用 Notepad++ 创建一个包含几行的简单平面文件。下面的示例文件每行都有产品 ID 和标价信息，以 Ç 作为列分隔符分隔，并且每个行以 {LF} 分隔符结尾。

在 Notepad++ 上，单击编码，然后单击以 UTF-8 编码，以 UTF-8 编码保存平面文件。

该示例将使用名为 < 的 SQL Server 2008 R2 数据库代码>索拉。使用下面给定的脚本创建一个名为 dbo.ProductListPrice 的新表。 SSIS 会将平面文件数据插入到该表中。

USE Sora;
GO

CREATE TABLE dbo.ProductListPrice
(
        ProductId   nvarchar(30)    NOT NULL
    ,   ListPrice   numeric(12,2)   NOT NULL
);
GO

使用 Business Intelligence Development Studio (BIDS) 2008 R2 创建 SSIS 包。将包命名为 SO_6268205.dtsx。创建名为 Sora.ds 的数据源，以连接到 SQL Server 2008 R2 中的数据库 Sora。

右键单击包内的任意位置，然后单击变量以查看变量窗格。在包范围 SO_6268205< 中创建一个名为 ColumnDelimiter 的新变量，其数据类型为 String /code> 并将变量设置为值 Ç

右键单击连接管理器并单击新建平面文件连接...创建连接以读取平面文件。

常规 页面平面文件连接管理器编辑器，执行以下操作：

• 将连接管理器名称设置为ProductListPrice
• 设置描述 > 至 平面文件连接管理器读取产品标价信息。
• 选择平面文件路径。我的文件位于路径 C:\Siva\StackOverflow\Files\6268205\ProductListPrice.txt
• 选择 {LF}< /strong> 来自标题行分隔符
• 检查第一个数据行中的列名称
• 单击列 页

在 Columns 页面上em>平面文件连接管理器编辑器，验证列分隔符为空且已禁用。单击高级页面。

在高级页面上在平面文件连接管理器编辑器中，执行以下操作。

• 将名称设置为LineData
• 验证列分隔符是否设置为{LF}
• 将 DataType 设置为 Unicode 字符串 [DT_WSTR]
• 将 OutputColumnWidth 设置为 < em>255
• 单击预览页面。

在预览页面上在平面文件连接管理器编辑器中，验证显示的数据是否正确，然后单击确定。

您将看到数据源 Sora 和平面文件连接包底部的连接管理器选项卡上的ProductListPrice管理器。

将数据流任务拖放到控制流上包的选项卡并将其命名为文件到数据库 - 没有 Cedilla 分隔符

双击数据流任务将视图切换到包上的数据流选项卡。将平面文件源拖放到数据流选项卡上。双击平面文件源以打开平面文件源编辑器。

在平面文件源编辑器的连接管理器页面上，选择平面文件连接管理器 ProductListPrice 并单击列页面。

在列页面上在平面文件源编辑器中，选中LineData列，然后单击确定。

拖放脚本组件在平面文件源下方的数据流选项卡上，选择转换，然后单击确定。将绿色箭头从平面文件源连接到脚本组件。双击脚本组件打开脚本转换编辑器。

单击“脚本转换编辑器”上的“输入列”，然后选择“LineData”列。单击“输入和输出”页面。

在输入和输出页面上在脚本转换编辑器中，执行以下操作。

• 将输入名称更改为 FlatFileInput
• 将输出名称更改为 SplitDataOutput
• 选择输出列，然后单击添加列 。再次重复此操作以添加另一列。
• 将第一列命名为 ProductId
• 将 ProductId 列的 DataType 设置为 Unicode 字符串 [DT_WSTR ]
• 将长度设置为30

在脚本转换编辑器的输入和输出页面上，执行以下操作。

• 将第二列命名为 ListPrice
• 将 ListPrice 列的 DataType 设置为 数字 [DT_NUMERIC]
• 将精度设置为12
• 将比例设置为2
• 点击脚本页面修改脚本

在 >脚本转换编辑器的脚本页面，执行以下操作。

• 单击ReadOnlyVariables旁边的省略号按钮，然后选择变量User::ColumnDelimiter
• 单击编辑脚本...

将以下 C# 粘贴到脚本编辑器中。该脚本执行以下任务。

• 使用变量 User::ColumnDelimiter 中定义的列分隔符值 Ç，方法FlatFileInput_ProcessInputRow< /em> 拆分传入值并将其分配给脚本组件转换中定义的两个输出列。

C# 脚本组件代码

using System;
using System.Data;
using Microsoft.SqlServer.Dts.Pipeline.Wrapper;
using Microsoft.SqlServer.Dts.Runtime.Wrapper;

[Microsoft.SqlServer.Dts.Pipeline.SSISScriptComponentEntryPointAttribute]
public class ScriptMain : UserComponent
{
    public override void PreExecute()
    {
        base.PreExecute();
    }

    public override void PostExecute()
    {
        base.PostExecute();
    }

    public override void FlatFileInput_ProcessInputRow(FlatFileInputBuffer Row)
    {
        const int COL_PRODUCT = 0;
        const int COL_PRICE = 1;

        char delimiter = Convert.ToChar(this.Variables.ColumnDelimiter);
        string[] lineData = Row.LineData.ToString().Split(delimiter);

        Row.ProductId = String.IsNullOrEmpty(lineData[COL_PRODUCT]) 
                            ? String.Empty 
                            : lineData[COL_PRODUCT];

        Row.ListPrice = String.IsNullOrEmpty(lineData[COL_PRICE]) 
                            ? 0 
                            : Convert.ToDecimal(lineData[COL_PRICE]);
    }
}

拖放 OLE DB 目标 到数据流选项卡。将绿色箭头从脚本组件连接到OLE DB 目标。双击OLE DB 目标 打开OLE DB 目标编辑器。

在OLE DB 目标编辑器 的连接管理器 页面上，执行以下操作。

• 从OLE DB 连接管理器中选择Sora
• 从表或视图 - 快速加载中选择数据访问模式
• 从表或视图的名称中选择[dbo].[ProductListPrice]
• 单击 >映射页面

单击 OLE DB 目标编辑器上的 Mappings 页面如果输入和输出列名称相同，em> 将自动映射列。单击确定。

配置所有组件后，数据流选项卡应如下所示。

在 SQL Server 中执行查询 select * from dbo.ProductListPrice Management Studio (SSMS) 查找表中的行数。在执行包之前它应该是空的。

执行包。您将注意到该包已成功处理 9 行。该平面文件包含 10 行，但第一行是带有列名称的标题。

在 SQL 中执行查询 select * from dbo.ProductListPrice Server Management Studio (SSMS) 查找已成功插入表中的 9 行。数据应与平面文件数据匹配。

上面的示例说明了如何使用脚本组件手动拆分数据因为平面文件连接管理器在配置列分隔符Ç时遇到错误问题

模拟：

此示例显示了一个单独的平面文件连接管理器 配置了列分隔符Ç，执行但遇到警告并且不处理任何行。

右键单击连接管理器，然后单击新建平面文件连接...以创建要读取的连接平面文件。在平面文件连接管理器编辑器的常规页面上，执行以下操作：

• 将连接管理器名称设置为ProductListPrice_Cedilla
• 将说明设置为带有 Cedilla 列分隔符的平面文件连接管理器。
• 我的路径中有该文件C:\Siva\StackOverflow\Files\6268205\ProductListPrice.txt 选择平面文件路径。
• 从标题行分隔符中选择{LF}
• 检查第一个数据行中的列名称
• 单击列页面

关于平面文件连接管理器编辑器的列页面，执行以下操作：

• 将行分隔符设置为 {LF}
• 列分隔符字段可能被禁用。单击重置列
• 将列分隔符设置为Ç
• 单击高级页面

img src="https://i.sstatic.net/Dxxjz.png" alt="平面文件连接管理器编辑器 - 带 Cedilla - Columns">

< 平面文件连接管理器编辑器的高级页面，执行以下操作：

• 将名称设置为 ProductId
• 将ColumnDelimiter设置为Ç
• 将DataType设置为< em>Unicode 字符串 [DT_WSTR]
• 设置长度到30
• 点击列ListPrice

在平面文件连接管理器编辑器<的高级页面上< /em>，执行以下操作：

• 设置名称为ListPrice
• 将ColumnDelimiter设置为{LF}
• 将DataType设置为数字[DT_NUMERIC]
• 将DataPrecision设置为12< /code>
• 设置DataScale 为 2
• 单击确定

将数据流任务拖放到控制流 选项卡并将其命名为 文件到数据库 -使用 Cedilla 分隔符。禁用第一个数据流任务。

使用平面文件源配置第二个数据流任务 和 OLE DB 目标

双- 单击平面文件源以打开平面文件源编辑器。在平面文件源编辑器的连接管理器页面上，选择平面文件连接管理器 ProductListPrice_Cedilla 并单击列页面以配置列。单击确定。

执行包。所有组件将显示绿色，表示该过程成功，但不会处理任何行。您可以看到 平面文件源 和 OLE DB 目标 之间没有行号指示

单击进度选项卡，您将注意到以下警告信息。

[Read flat file [1]] Warning: The end of the data file was reached while 
reading header rows. Make sure the header row delimiter and the number of 
header rows to skip are correct.

Answer 2

上面的答案似乎非常复杂，只需转换文件 Rehashed 中的行结尾

Dim FileContents As String = My.Computer.FileSystem.ReadAllText("c:\Temp\UnixFile.csv")

Dim NewFileContents As String = FileContents.Replace(vbLf, vbCrLf)

My.Computer.FileSystem.WriteAllText("c:\temp\WindowsFile.csv", NewFileContents, False, New System.Text.UnicodeEncoding)

此处

Answer 3

如果您尝试在 Windows 上通过 SSIS 使用在不同平台（如 Unix、Mac 等）上生成的 FlatFile，也会出现此问题

在这种情况下，您需要做的就是使用 unix2dos 命令将文件格式从 UNIX 转换为 DOS

unix2dos file-to-convert