TStringList 拆分错误

Question

最近，一位信誉良好的 SO 用户通知我，TStringList 存在拆分错误，这会导致它无法解析 CSV 数据。我尚未获悉这些错误的性质，并且在互联网上进行了搜索，包括 Quality Central 没有产生任何结果，所以我询问。什么是TStringList 拆分错误？

请注意，我对毫无根据的意见答案不感兴趣。

我所知道的：

不多......其中之一是，这些错误很少在测试数据中出现，但在现实世界中并不罕见。

另一个是，如前所述，它们会阻止正确解析 CSV。考虑到很难用测试数据重现这些错误，我（可能）正在向尝试在生产代码中使用字符串列表作为 CSV 解析器的人寻求帮助。

不相关的问题：

我获得了有关“Delphi-XE”标记问题的信息，因此由于“空格字符被视为分隔符”而导致解析失败 功能不适用。因为引入了StrictDelimiter Delphi 2006 的属性解决了这个问题。我自己使用的是Delphi 2007。

另外，由于字符串列表只能保存字符串，因此它只负责拆分字段。由于区域设置差异等引起的涉及字段值（日期、浮点数..）的任何转换困难不在范围内。

基本规则：

CSV 没有标准规范。但从各种规范中推断出一些基本规则。

下面演示了 TStringList 如何处理这些。规则和示例字符串来自维基百科。括号 ([ ]) 叠加在字符串周围，以便能够通过测试代码看到前导或尾随空格（如果相关）。

空格被视为字段的一部分，不应被忽略。

Test string: [1997, Ford , E350]
Items: [1997] [ Ford ] [ E350]

嵌入逗号的字段必须用双引号字符引起。

Test string: [1997,Ford,E350,"Super, luxurious truck"]
Items: [1997] [Ford] [E350] [Super, luxurious truck]

< em>嵌入双引号字符的字段必须用双引号字符括起来，并且每个嵌入的双引号字符必须由一对双引号字符表示。

Test string: [1997,Ford,E350,"Super, ""luxurious"" truck"]
Items: [1997] [Ford] [E350] [Super, "luxurious" truck]

字段带有嵌入换行符的内容必须包含在双引号字符。

Test string: [1997,Ford,E350,"Go get one now
they are going fast"]
Items: [1997] [Ford] [E350] [Go get one now
they are going fast]

在修剪前导空格或尾随空格的 CSV 实现中，具有此类空格的字段必须括在双引号字符内。

Test string: [1997,Ford,E350," Super luxurious truck "]
Items: [1997] [Ford] [E350] [ Super luxurious truck ]

字段可以无论是否需要，始终用双引号字符括起来。

Test string: ["1997","Ford","E350"]
Items: [1997] [Ford] [E350]

测试代码：

var
  SL: TStringList;
  rule: string;

  function GetItemsText: string;
  var
    i: Integer;
  begin
    for i := 0 to SL.Count - 1 do
      Result := Result + '[' + SL[i] + '] ';
  end;

  procedure Test(TestStr: string);
  begin
    SL.DelimitedText := TestStr;
    Writeln(rule + sLineBreak, 'Test string: [', TestStr + ']' + sLineBreak,
            'Items: ' + GetItemsText + sLineBreak);
  end;

begin
  SL := TStringList.Create;
  SL.Delimiter := ',';        // default, but ";" is used with some locales
  SL.QuoteChar := '"';        // default
  SL.StrictDelimiter := True; // required: strings are separated *only* by Delimiter

  rule := 'Spaces are considered part of a field and should not be ignored.';
  Test('1997, Ford , E350');

  rule := 'Fields with embedded commas must be enclosed within double-quote characters.';
  Test('1997,Ford,E350,"Super, luxurious truck"');

  rule := 'Fields with embedded double-quote characters must be enclosed within double-quote characters, and each of the embedded double-quote characters must be represented by a pair of double-quote characters.';
  Test('1997,Ford,E350,"Super, ""luxurious"" truck"');

  rule := 'Fields with embedded line breaks must be enclosed within double-quote characters.';
  Test('1997,Ford,E350,"Go get one now'#10#13'they are going fast"');

  rule := 'In CSV implementations that trim leading or trailing spaces, fields with such spaces must be enclosed within double-quote characters.';
  Test('1997,Ford,E350," Super luxurious truck "');

  rule := 'Fields may always be enclosed within double-quote characters, whether necessary or not.';
  Test('"1997","Ford","E350"');

  SL.Free;
end;

如果您已阅读全部内容，问题是:)，什么是“ TStringList 分裂错误？”

Answer 1

不多......其中之一是，这些错误很少在测试数据中出现，但在现实世界中并不罕见。

所需要的只是一个案例。测试数据不是随机数据，一个有一个失败案例的用户应该提交数据，瞧，我们就得到了一个测试案例。如果没有人可以提供测试数据，也许没有错误/故障？

CSV 没有标准规范。

这确实有助于消除混乱。如果没有标准规范，如何证明某些事情是错误的？如果仅靠自己的直觉，你可能会遇到各种各样的麻烦。以下是我自己与政府发行的软件愉快互动的一些内容；我的应用程序应该以 CSV 格式导出数据，而政府应用程序应该导入它。这就是我们连续几年陷入很多麻烦的原因：

• 如何表示空数据？由于没有 CSV 标准，有一年，我友好的政府决定一切都可以，包括什么都不做（两个连续的逗号）。接下来他们决定只有连续的逗号才可以，即Field,"",Field无效，应该是Field,,Field。向我的客户解释政府应用程序从一周到下一周更改了验证规则，这让我很开心……
• 你们导出零整数数据吗？这可能是一个更大的滥用，但我的“政府应用程序”决定也验证这一点。曾经强制包含 0，后来强制不包含 0。也就是说，一次 Field,0,Field 有效，下一个 Field,,Field 是唯一有效的方法...

这是另一个测试用例，其中 (我的）直觉失败了：

1997年，福特，E350，“超级豪华卡车”

请注意 , 和 "Super 之间的空格，以及 "Super 后面的非常幸运的逗号代码>. TStrings 使用的解析器仅在紧跟在分隔符之后的情况下才能看到引号字符。该字符串被解析为：

[1997]
[ Ford]
[ E350]
[ "Super]
[ luxurious truck"]

直观上我期望：

[1997]
[ Ford]
[ E350]
[Super luxurious truck]

但猜猜看，Excel 的处理方式与 Delphi 的处理方式相同...

结论

• TStrings.CommaText 相当好并且实现得很好，至少在 Delphi 中是这样我看到的 2010 版本非常有效（避免多次字符串分配，使用 PChar 来“遍历”已解析的字符串）并且工作方式与 Excel 的解析器大致相同。
• 在现实世界中，您需要与使用其他库（或根本没有库）编写的其他软件交换数据，人们可能会错误地解释 CSV 的一些（缺失？）规则。你必须适应，这可能不是一个对错的问题，而是一个“我的客户需要导入这些垃圾”的情况。如果发生这种情况，您将不得不编写自己的解析器，该解析器可以适应您要处理的第 3 方应用程序的要求。在此之前，您可以安全地使用 TStrings。当它确实发生时，可能不是 TString 的错！

Answer 2

我要大胆地说，最常见的失败案例是嵌入式换行符。我知道我所做的大多数 CSV 解析都忽略了这一点。我将使用 2 个 TStringList，其中 1 个用于我正在解析的文件，另一个用于当前行。因此，我最终会得到类似于以下内容的代码：

procedure Foo;
var
    CSVFile, ALine: TStringList;
    s: string;

begin
    CSVFile := TStringList.Create;
    ALine := TStringList.Create;
    ALine.StrictDelimiter := True;
    CSVFile.LoadFromFile('C:\Path\To\File.csv');
    for s in CSVFile do begin
        ALine.CommaText := s;
        DoSomethingInteresting(ALine);
    end;
end;

当然，由于我没有注意确保每一行都是“完整的”，因此我可能会遇到输入在字段中包含带引号的换行符的情况我很想念它。

除非我遇到现实世界的数据，这是一个问题，否则我不会费心去解决它。 :-P

Answer 3

另一个例子...这个 TStringList.CommaText bug 存在于 Delphi 2009 中。TStringList.CommaText

procedure TForm1.Button1Click(Sender: TObject);
var
  list : TStringList;
begin
  list := TStringList.Create();
  try
    list.CommaText := '"a""';
    Assert(list.Count = 1);
    Assert(list[0] = 'a');
    Assert(list.CommaText = 'a'); // FAILS -- actual value is "a""
  finally
    FreeAndNil(list);
  end;
end;

setter 和相关方法破坏了保存 a 项的字符串的内存（其空终止符被<代码>“）。

Answer 4

已经尝试过使用 TArray split 吗？

var
text: String;
arr: TArray<String>;
begin
text := '1997,Ford,E350';
arr := text.split([',']);

所以 arr 将是：

arr[0] = 1997;
arr[1] = Ford;
arr[2] = E350;