在 Python 中处理 UTF-8 数字

Question

假设我正在读取一个包含 3 个逗号分隔数字的文件。该文件是用未知编码保存的，到目前为止我正在处理 ANSI 和 UTF-8。如果文件采用 UTF-8 格式，并且有 1 行值为 115,113,12，则：

with open(file) as f:
    a,b,c=map(int,f.readline().split(','))

将抛出此错误：

invalid literal for int() with base 10: '\xef\xbb\xbf115'

第一个数字始终与这些 '\xef\xbb\xbf' 字符混合。对于其余 2 个数字，转换效果很好。如果我手动将 '\xef\xbb\xbf' 替换为 ''，然后进行 int 转换，它将起作用。

对于任何类型的编码文件，是否有更好的方法来执行此操作？

Answer 1

import codecs

with codecs.open(file, "r", "utf-8-sig") as f:
    a, b, c= map(int, f.readline().split(","))

这适用于 Python 2.6.4。 codecs.open 调用打开文件并以 unicode 形式返回数据，从 UTF-8 解码并忽略初始 BOM。

Answer 2

您看到的是 UTF-8 编码的 BOM，或“字节顺序标记” 。 BOM 通常不用于 UTF-8 文件，因此处理它的最佳方法可能是使用 UTF-8 编解码器打开文件，并跳过 U+FEFF 字符（如果存在）。