Python.expat 无法解析带有错误符号的 XML 文件。怎么绕过去？

Question

我正在尝试使用 expat 解析 XML 文件（OSM 数据），并且有一些包含 expat 无法解析的 Unicode 字符的行：（

<tag k="name"
v="абвгдежзиклмнопр�?туфхцчшщьыъ�?ю�?�?БВГДЕЖЗИКЛМ�?ОПРСТУФХЦЧШЩЬЫЪЭЮЯ" />

<tag k="name" v="Cin\x8e? Rex" />

开头行中的 XML 文件编码是“UTF-8”）

该文件相当老了，肯定有错误。在现代文件中，我看不到 UTF-8 错误，并且它们解析得很好。但是，如果我的程序遇到损坏的符号怎么办，我可以采取什么解决方法？是否可以加入 bz2 编解码器（我解析压缩文件）和 utf-8 编解码器以忽略损坏的字符，或将其更改为“？”？

Answer 1

不确定“�”字符是否是通过复制粘贴字符串引入的，
但如果你在原始数据中有它们，那么它似乎是生成器
将 \uFFFD 字符引入为：

“用于替换值未知的传入字符或
在 Unicode 中无法表示”

引用自：
http://www.fileformat.info/info/unicode/char/ fffd/index.htm

解决方法吗？只是扩展的想法：

good = True
buf = None
while True:
if good:
        buf = f.read(buf_size)
        else:
        # try again with cleaned buffer
        pass
        try:
            xp.Parse(buf, len(buf) == 0)
            if (len(buf) == 0):
                    break
        good = True
    except ExpatError:
        if xp.ErrorCode  == XML_ERROR_BAD_CHAR_REF:
            # look at ErrorByteIndex (or nearby)
            # for 0xEF 0xBF 0xBD (UTF8 replacement char) and remove it
            good = False
        else:
            # other errors processing
            pass

或者清理输入缓冲区+极端情况（缓冲区末端的部分序列）。
我不记得 python 的 expat 是否允许分配自定义错误处理程序。
那会更容易。

如果我清除你的样本中的“�”字符，它就可以正常处理。
\xd1 不会失败。

OSM数据？