需要使用 StreamReader.ReadLine() 获取行终止符

Question

我编写了一个 C# 程序来读取 Excel .xls/.xlsx 文件并输出为 CSV 和 Unicode 文本。 我编写了一个单独的程序来删除空白记录。 这是通过使用 StreamReader.ReadLine() 读取每一行，然后逐个字符地遍历字符串来完成的，如果该行包含所有逗号（对于 CSV）或所有制表符，则不将该行写入输出（对于 Unicode 文本）。

当 Excel 文件的单元格内包含嵌入的换行符 (\x0A) 时，会出现此问题。 我将 XLS 更改为 CSV 转换器以找到这些新行（因为它逐个单元地进行）并将它们写为 \x0A，而普通行只需使用 StreamWriter.WriteLine()。

问题出现在删除空白记录的单独程序中。 当我使用 StreamReader.ReadLine() 读取时，根据定义，它只返回带有行的字符串，而不是终止符。 由于嵌入的换行符显示为两个单独的行，因此当我将它们写入最终文件时，我无法分辨哪一个是完整记录，哪一个是嵌入式换行符。

我什至不确定我是否可以读取 \x0A，因为输入上的所有内容都注册为“\n”。 我可以一个字符一个字符地进行操作，但这破坏了我删除空行的逻辑。

Answer 1

我建议您更改架构，使其更像编译器中的解析器。

您想要创建一个返回标记序列的词法分析器，然后创建一个读取标记序列并对其进行处理的解析器。

在您的情况下，标记将是：

1. 列数据
2. 逗号
3. 行尾

您会将 '\n' ('\x0a') 本身视为嵌入的新行，因此将其作为列数据标记的一部分。 '\r\n' 将构成行结束标记。

这样做的优点是：

1. 只对数据进行 1 次传递
2. 只存储最多 1 行数据
3. 重用尽可能多的内存（用于字符串生成器和列表）
4. 如果您的需求发生变化，很容易更改

这是一个示例Lexer 会是什么样子：

免责声明：我什至还没有编译过这段代码，更不用说测试了，所以您需要清理它并确保它有效。

enum TokenType
{
    ColumnData,
    Comma,
    LineTerminator
}

class Token
{
    public TokenType Type { get; private set;}
    public string Data { get; private set;}

    public Token(TokenType type)
    {
        Type = type;
    }

    public Token(TokenType type, string data)
    {
        Type = type;
        Data = data;
    }
}

private  IEnumerable<Token> GetTokens(TextReader s)
{
   var builder = new StringBuilder();

   while (s.Peek() >= 0)
   {
       var c = (char)s.Read();
       switch (c)
       {
           case ',':
           {
               if (builder.Length > 0)
               {
                   yield return new Token(TokenType.ColumnData, ExtractText(builder));
               }
               yield return new Token(TokenType.Comma);
               break;
           }
           case '\r':
           {
                var next = s.Peek();
                if (next == '\n')
                {
                    s.Read();
                }

                if (builder.Length > 0)
                {
                    yield return new Token(TokenType.ColumnData, ExtractText(builder));
                }
                yield return new Token(TokenType.LineTerminator);
                break;
           }
           default:
               builder.Append(c);
               break;
       }

   }

   s.Read();

   if (builder.Length > 0)
   {
       yield return new Token(TokenType.ColumnData, ExtractText(builder));
   }
}

private string ExtractText(StringBuilder b)
{
    var ret = b.ToString();
    b.Remove(0, b.Length);
    return ret;
}

您的“解析器”代码将如下所示：

public void ConvertXLS(TextReader s)
{
    var columnData = new List<string>();
    bool lastWasColumnData = false;
    bool seenAnyData = false;

    foreach (var token in GetTokens(s))
    {
        switch (token.Type)
        {
            case TokenType.ColumnData:
            {
                 seenAnyData = true;
                 if (lastWasColumnData)
                 {
                     //TODO: do some error reporting
                 }
                 else
                 {
                     lastWasColumnData = true;
                     columnData.Add(token.Data);
                 }
                 break;
            }
            case TokenType.Comma:
            {
                if (!lastWasColumnData)
                {
                    columnData.Add(null);
                }
                lastWasColumnData = false;
                break;
            }
            case TokenType.LineTerminator:
            {
                if (seenAnyData)
                {
                    OutputLine(lastWasColumnData);
                }
                seenAnyData = false;
                lastWasColumnData = false;
                columnData.Clear();
            }
        }
    }

    if (seenAnyData)
    {
        OutputLine(columnData);
    }
}

Answer 2

您无法更改 StreamReader 以返回行终止符，也无法更改它用于行终止的内容。

我并不完全清楚你正在做什么转义的问题，特别是“并将它们写为 \x0A”。 该文件的示例可能会有所帮助。

听起来您可能需要逐个字符地工作，或者可能首先加载整个文件并进行全局替换，例如

x.Replace("\r\n", "\u0000") // Or some other unused character
 .Replace("\n", "\\x0A") // Or whatever escaping you need
 .Replace("\u0000", "\r\n") // Replace the real line breaks

我确信您可以使用正则表达式来做到这一点，并且可能会更多高效，但我发现很长的路更容易理解:)尽管必须进行全局替换有点麻烦 - 希望通过更多信息我们能提出更好的解决方案。

Answer 3

本质上，Excel 中的硬回车（shift+enter 或 alt+enter，我不记得了）会在我用来编写 CSV 的默认编码中放置一个相当于 \x0A 的换行符。 当我写入 CSV 时，我使用 StreamWriter.WriteLine()，它输出该行加上换行符（我认为是 \r\n）。

CSV 很好，并且准确地显示了 Excel 保存它的方式，问题是当我将其读入空白记录删除器时，我使用 ReadLine() 它将把嵌入换行符的记录视为 CRLF。

这是我转换为 CSV 后的文件示例...

Reference,Name of Individual or Entity,Type,Name Type,Date of Birth,Place of Birth,Citizenship,Address,Additional Information,Listing Information,Control Date,Committees
1050,"Aziz Salih al-Numan
",Individual,Primary Name,1941 or 1945,An Nasiriyah,Iraqi,,Ba’th Party Regional Command Chairman; Former Governor of Karbala and An Najaf Former Minister of Agriculture and Agrarian Reform (1986-1987),Resolution 1483 (2003),6/27/2003,1518 (Iraq)
1050a,???? ???? ???????,Individual,Original script,1941 or 1945,An Nasiriyah,Iraqi,,Ba’th Party Regional Command Chairman; Former Governor of Karbala and An Najaf Former Minister of Agriculture and Agrarian Reform (1986-1987),Resolution 1483 (2003),6/27/2003,1518 (Iraq)

如您所见，第一条记录在 al-Numan 之后嵌入了换行符。 当我使用 ReadLine() 时，我得到 '1050,"Aziz Salih al-Numan'，当我写出该值时，WriteLine() 以 CRLF 结束该行。我丢失了原始行终止符。当我再次使用 ReadLine() 时，我得到以“1050a”开头的行，

我可以读取整个文件并替换它们，但随后我必须将它们替换回来，基本上我想做的是获取行终止符来确定其是否为 \ 。 x0a 或 CRLF，然后如果它是 \x0A，我将使用 Write() 并插入该终止符。

Answer 4

我知道我在这里玩游戏有点晚了，但我遇到了同样的问题，而且我的解决方案比大多数给出的解决方案简单得多。

如果您能够确定列数，这应该很容易做到，因为第一行通常是列标题，您可以根据预期列数检查您的列数。 如果列数不等于预期的列数，您只需将当前行与之前不匹配的行连接起来即可。 例如：

string sep = "\",\"";
int columnCount = 0;
while ((currentLine = sr.ReadLine()) != null)
{
    if (lineCount == 0)
    {
        lineData = inLine.Split(new string[] { sep }, StringSplitOptions.None);
        columnCount = lineData.length;
        ++lineCount;
        continue;
    }
    string thisLine = lastLine + currentLine;

    lineData = thisLine.Split(new string[] { sep }, StringSplitOptions.None);
    if (lineData.Length < columnCount)
    {
        lastLine += currentLine;
        continue;
    }
    else
    {
        lastLine = null;
    }
    ......

Answer 5

非常感谢您的代码和其他一些代码，我想出了以下解决方案！ 我在底部添加了一个指向我编写的一些代码的链接，这些代码使用了此页面中的一些逻辑。 我想我应该给予应有的荣誉！ 谢谢！

下面是关于我需要什么的解释：
试试这个，我写这个是因为我有一些非常大的“|” 某些列内有 \r\n 的分隔文件，我需要使用 \r\n 作为行分隔符的末尾。 我尝试使用 SSIS 包导入一些文件，但由于文件中的某些数据已损坏，我无法导入。 该文件超过 5 GB，因此太大，无法打开并手动修复。 我通过浏览大量论坛以了解流的工作原理找到了答案，并最终提出了一个解决方案，该解决方案读取文件中的每个字符并根据我添加到其中的定义吐出该行。 这是用于命令行应用程序的，并带有帮助:)。 我希望这可以帮助其他人，尽管这些想法受到了这个论坛和其他人的启发，但我还没有在其他地方找到类似的解决方案。

https://stackoverflow.com/a/12640862/1582188