StreamWriter 和 UTF-8 字节顺序标记

Question

我遇到了 StreamWriter 和字节顺序标记的问题。该文档似乎指出 Encoding.UTF8 编码已启用字节顺序标记，但在写入文件时，有些文件具有标记，而其他文件则没有。

我正在通过以下方式创建流编写器：

this.Writer = new StreamWriter(this.Stream, System.Text.Encoding.UTF8);

任何关于可能发生的事情的想法将不胜感激。

Answer 1

正如有人已经指出的那样，不带编码参数的调用就可以解决问题。
但是，如果您想明确，请尝试以下操作：

using (var sw = new StreamWriter(this.Stream, new UTF8Encoding(false)))

要禁用 BOM，关键是使用 new UTF8Encoding(false) 进行构造，而不仅仅是 Encoding.UTF8Encoding。这与调用不带编码参数的 StreamWriter 相同，在内部它只是做同样的事情。

要启用 BOM，请改用 new UTF8Encoding(true)。

更新：自 Windows 10 v1903 起，在 notepad.exe 中另存为 UTF-8 时，BOM 字节现在是一个选择加入功能。

Answer 2

该问题是由于您使用静态 UTF8<Encoding 类 上的 /code> 属性。

当调用 GetPreamble 方法 时由 UTF8 属性返回的 Encoding 类的实例，它返回字节顺序标记（三个字符的字节数组）并在任何其他内容之前写入流被写入流（假设是一个新流）。

您可以通过创建 UTF8Encoding 类的实例来避免这种情况< /a> 自己，如下所示：

// As before.
this.Writer = new StreamWriter(this.Stream, 
    // Create yourself, passing false will prevent the BOM from being written.
    new System.Text.UTF8Encoding());

根据 默认无参数构造函数 的文档（强调我的）：

此构造函数创建一个实例，不提供 Unicode 字节顺序标记，并且在检测到无效编码时不会引发异常。

这意味着对 GetPreamble 的调用将返回一个空数组，因此不会将 BOM 写入底层流。

Answer 3

我的答案基于 HelloSam 的答案，其中包含所有必要的信息。
只是我相信OP所要求的是如何确保BOM被发送到文件中。

因此，您需要传递 true，而不是将 false 传递给 UTF8Encoding ctor。

    using (var sw = new StreamWriter("text.txt", new UTF8Encoding(true)))

尝试下面的代码，在十六进制编辑器中打开生成的文件，看看哪个包含 BOM，哪个不包含。

class Program
{
    static void Main(string[] args)
    {
        const string nobomtxt = "nobom.txt";
        File.Delete(nobomtxt);

        using (Stream stream = File.OpenWrite(nobomtxt))
        using (var writer = new StreamWriter(stream, new UTF8Encoding(false)))
        {
            writer.WriteLine("HelloПривет");
        }

        const string bomtxt = "bom.txt";
        File.Delete(bomtxt);

        using (Stream stream = File.OpenWrite(bomtxt))
        using (var writer = new StreamWriter(stream, new UTF8Encoding(true)))
        {
            writer.WriteLine("HelloПривет");
        }
    }

Answer 4

我唯一一次看到构造函数不添加 UTF-8 BOM 是当您调用它时流不在位置 0 时。例如，在下面的代码中，没有写入 BOM：

using (var s = File.Create("test2.txt"))
{
    s.WriteByte(32);
    using (var sw = new StreamWriter(s, Encoding.UTF8))
    {
        sw.WriteLine("hello, world");
    }
}

正如其他人所说，如果您使用 StreamWriter(stream) 构造函数，而不指定编码，那么您将看不到物料清单。

Answer 5

您是否对每个文件使用相同的 StreamWriter 构造函数？因为文档说：

要使用 UTF-8 编码和 BOM 创建 StreamWriter，请考虑使用指定编码的构造函数，例如 StreamWriter(String, Boolean, Encoding)。

不久前我也遇到过类似的情况。我最终使用了 Stream.Write方法而不是 StreamWriter，并在写入 Encoding.GetBytes(stringToWrite) 之前写入 Encoding.GetPreamble() 的结果

Answer 6

我发现这个答案很有用（感谢@Philipp Grathwohl 和@Nik），但就我而言，我使用 FileStream 来完成任务，因此，生成 BOM 的代码如下所示：

using (FileStream vStream = File.Create(pfilePath))
{
    // Creates the UTF-8 encoding with parameter "encoderShouldEmitUTF8Identifier" set to true
    Encoding vUTF8Encoding = new UTF8Encoding(true);
    // Gets the preamble in order to attach the BOM
    var vPreambleByte = vUTF8Encoding.GetPreamble();

    // Writes the preamble first
    vStream.Write(vPreambleByte, 0, vPreambleByte.Length);

    // Gets the bytes from text
    byte[] vByteData = vUTF8Encoding.GetBytes(pTextToSaveToFile);
    vStream.Write(vByteData, 0, vByteData.Length);
    vStream.Close();
}

Answer 7

似乎如果文件已经存在并且不包含 BOM，那么在覆盖时它不会包含 BOM，换句话说 StreamWriter 在覆盖文件时保留 BOM（或不存在）。

Answer 8

你能展示一下它不产生它的情况吗？我能找到的唯一不存在序言的情况是，没有任何东西写给作者（吉姆·米歇尔似乎找到了另一个，合乎逻辑的，更可能是你的问题，请参阅它的答案）。

我的测试代码：

var stream = new MemoryStream();
using(var writer = new StreamWriter(stream, System.Text.Encoding.UTF8))
{
    writer.Write('a');
}
Console.WriteLine(stream.ToArray()
    .Select(b => b.ToString("X2"))
    .Aggregate((i, a) => i + " " + a)
    );

Answer 9

阅读完SteamWriter的源代码后，您需要确保您正在创建一个新文件，然后字节顺序标记将添加到该文件中。
https://github.com/dotnet/runtime/blob/6ef4b2e7aba70c514d85c2b43eac1616216bea55/src/libraries/System.Private.CoreLib/src/System/IO/StreamWriter.cs#L267
Flush方法中的代码

if (!_haveWrittenPreamble)
{
_haveWrittenPreamble = true;
ReadOnlySpan 前导码 = _encoding.Preamble;
if (前导码长度 > 0)
{
_stream.Write(前导码);
}
}

https://github.com/dotnet/runtime/blob/6ef4b2e7aba70c514d85c2b43eac1616216bea55/src/libraries/System.Private.CoreLib/src/System/IO/StreamWriter.cs#L129" rel="nofollow noreferrer" >https://github.com/dotnet/runtime/blob/6ef4b2e7aba70c514d85c2b43eac1616216bea55/src/libraries/System.Private.CoreLib/src/System/IO/StreamWriter.cs#L129
代码设置_haveWrittenPreamble的值

// 如果我们要附加到已有数据的 Stream，则不要
写
// 序言。
if (_stream.CanSeek && _stream.Position > 0)
{
_haveWrittenPreamble = true;
}

Answer 10

使用 Encoding.Default 而不是 Encoding.UTF8 解决了我的问题

Answer 11

当未使用 FileStream 且未指定编码时，文件将以 ANSI 写入，除非存在非英语字符，然后将其转换为不带 BOM 的 UTF-8。

StreamWriter writer = new StreamWriter("C:\\file.txt");

添加UTF-8编码将创建并写入带有BOM的文件。没有 BOM 的现有文件在覆盖时将添加 BOM。 false 表示追加

StreamWriter writer = new StreamWriter("C:\\file.txt", false, Encoding.UTF8);