为什么 VIM 忽略我的文件的 BOM？

Question

我需要一个要确保使用 utf8 编码的文件。

因此，我在 VIM 中创建文件，

c:\> gvim umlaute.txt

输入变音符号：

äöü

我检查编码...

:set enc

（VIM 回显 encoding=latin1）

，然后检查文件编码...

:set fenc

（VIM 回显 fileencoding=)

然后我写入文件

:w

并检查硬盘上文件的大小：（

!dir umlaute.txt

大小为 5 字节）这当然是预期的，3 字节用于文本，2 字节用于 \x0a \x0d。

好的，所以我现在将编码设置为

:set enc=utf8

缓冲区变得很奇怪

<e4><f6><fc>

我猜这是我之前输入的 ascii 字符的十六进制表示。所以我重写它们

äöü

写入，检查大小：

:w
:$ dir umlaute.txt

这次，它是 8字节。我想每个字符 2 个字节加上 \x0d \x0a 是有意义的。

好的，所以我想确保下次打开文件时它将使用 encodiung=utf8 打开。

:setb
:w

:$ dir umlaute.txt

11 字节。这当然是 8 个（之前的）字节 + BOM 的 3 个字节 (ef bb bf)。

所以我用

:quit

vim 再次打开文件

并检查编码是否已设置：

:set enc

但 VIM 坚持其 encoding=latin1。

那么，这是为什么呢。我本来希望 BOM 告诉 VIM 这是一个 UTF8 文件。

Answer 1

您混淆了 'encoding'（Vim 全局设置）和 'fileencoding'（每个缓冲区的本地设置）。

打开文件时，变量 'fileencodings' （注意最后的 s）决定 Vim 将尝试使用什么编码打开文件。如果它以 ucs-bom 开头，那么任何带有 BOM 的文件如果解析正确，都将被正确打开。

如果要更改文件的编码，应使用 :set fenc=。如果您想删除 BOM，您应该使用 :set [no]bomb。然后使用 :w 保存。

避免在打开缓冲区后更改 enc，这可能会弄乱事情。 enc 决定了 vim 可以使用哪些字符，它与你正在使用的文件无关。

细节

<代码>c:\> gvim umlaute.txt

您正在打开 vim，但文件名不存在。 Vim 创建一个缓冲区，为其指定名称，并将 fenc 设置为空值，因为没有与其关联的文件。

<代码>：设置编码

（VIM 回显编码=latin1）

这意味着 Vim 将缓冲区内容存储在 ISO-8859-1（可能是另一个数字）中。

然后我检查文件编码...

:设置fenc

（VIM 回显文件编码=）

这是正常的，暂时没有文件。

然后我写入文件

<代码>:w

由于 'fileencoding' 为空，它将使用内部编码 latin1 将其写入磁盘。

并检查硬盘上文件的大小：

!dir umlaute.txt

（大小为 5 个字节）这当然是预期的，3 个字节用于文本，2 个字节用于 \x0a \x0d。

好的，所以我现在将编码设置为

:设置enc=utf8

错误！ 你告诉 vim 它必须将缓冲区内容解释为 UTF8 内容。缓冲区包含十六进制的e4 f6 fc 0a 0d，前三个字节是无效的UTF8字符序列。您应该输入:set fenc=utf-8。这会转换缓冲区。

缓冲区变得很奇怪

这就是当你强制 Vim 将非法 UTF-8 文件解释为 UTF8 时会发生的情况。

我猜这是我之前输入的 ascii 字符的十六进制表示。所以我重写了它们

阿欧乌

书写、检查尺寸：

<代码>：w
:$ dir umlaute.txt

这次是 8 个字节。我想每个字符 2 个字节加上 \x0d \x0a 是有意义的。

好的，所以我想确保下次打开文件时它将使用 encodiung=utf8 打开。

:设置炸弹
<代码>:w

:$ dir umlaute.txt

11 字节。这当然是 8 个（之前的）字节 + BOM 的 3 个字节 (ef bb bf)。

所以我

：退出

vim 并再次打开文件

并检查编码是否已设置：

：设置编码

但 VIM 坚持其编码=latin1。

您应该运行 set fenc? 来了解检测到的文件编码是什么。如果你希望 Vim 能够使用 Unicode 文件，你应该在 vimrc 中设置 'enc' 为 utf-8。

Answer 2

经过多次尝试，我得到了一个工作示例：

    setglobal bomb 
    set fileencodings=ucs-bom,utf-8,cp1251,koi8-r,cp866
    set nobin
    set fileencoding=utf-8 bomb

如果您想使用 BOM 创建新字段：

    c:\gvim umlaute.txt

它现在可以工作了！

Answer 3

:helpomb 显示以下信息：

写入文件时，如果满足以下条件，则会在文件前面添加 BOM（字节顺序标记）：

• 此选项已启用（编辑：即“:set炸弹”）
• “二进制”选项已关闭
• “文件编码”是“utf-8”、“ucs-2”、“ucs-4”或小/大端变体之一。

某些应用程序使用 BOM 来识别文件的编码。
通常用于 MS-Windows 上的 UCS-2 文件。对于其他应用程序
造成麻烦，例如：“cat file1 file2”生成file2的BOM
出现在结果文件的中间。 Gcc 不接受 BOM。
当 Vim 读取文件并且 'fileencodings' 以“ucs-bom”开头时，
检查 BOM 是否存在并相应设置“炸弹”。
除非设置了“binary”，否则它将从第一行中删除，以便您
编辑时看不到它。当您不更改选项时，BOM
写入文件时会被恢复。

所以尝试在你的 .vimrc 中设置它：

set fileencodings=ucs-bom,utf-8,latin1
set nobin
setglobal fileencoding=utf-8