文件编码在 ruby​​ 中生成空白字符——为什么？

Question

我正在使用这一点 ruby​​：

File.open(ARGV[0], "r").each_line do |line|
   puts "encoding: #{line.encoding}"
   line.chomp.split(//).each do |char|
     puts "[#{char}]"
  end
end

我有一个示例文件，我在该文件中输入的文件仅包含三个句点和一个换行符。

当我使用 utf-8 的文件编码保存此文件（在 vim 中：set fileencoding=utf-8）并在其上运行此脚本时，我得到以下输出：

encoding: UTF-8
[]
[.]
[.]
[.]

然后，如果我将文件编码更改为 latin1 （在 vim 中：set fileencoding=latin1）并运行脚本，我没有得到第一个空白字符：

encoding: UTF-8
[.]
[.]
[.]

这里发生了什么？我知道 utf8 编码在文件开头放置一些字节以将文件标记为 utf8 编码，但我认为它们在处理文本时应该是不可见的（即：ruby 运行时应该处理它们）。我缺少什么？

顺便说一句：

ubuntu:~$ ruby --version
ruby 1.9.2p0 (2010-08-18 revision 29034) [i686-linux]

谢谢！

更新：

带有额外字符（BOM）的文件的十六进制转储：

ubuntu:~$ hexdump new.board
0000000 bbef 2ebf 2e2e 0a0d 0a0d
000000a

Answer 1

尝试跑步

data = IO.read(ARGV[0])
puts data.dump

，看看你会得到什么。这将打印任何非打印字符的转义码。

如果我使用 设置 BOM，它看起来不像 UTF8 字节顺序标记在文件上的vim中设置炸弹并尝试我得到的代码

[?]
[?]
[?]
[.]
[.]
[.]

，而dump给我

"\357\273\277...\n"

这将是BOM的八进制表示（EF BB BF in十六进制）