如何从输入流中删除重音字符

Question

我正在尝试使用 Pull 解析器解析 Android 上的 Rss2.0 提要。

XmlPullParser parser = Xml.newPullParser();
parser.setInput(url.open(), null);

feed XML 的序言表明编码是“utf-8”。当我打开远程流并将其传递给我的拉解析器时，我得到无效的令牌，文档格式不正确的异常。

当我保存 XML 文件并在浏览器 (FireFox) 中打开它时，浏览器报告文件中存在 Unicode 0x12 字符（重音符号？），并且无法呈现 XML。

假设我无法控制返回的 XML，处理此类情况的最佳方法是什么？

谢谢。

Answer 1

你在哪里发现0x12是重音符号？ UTF-8 的字符范围 0x00-0x7F 与 ASCII 编码相同，ASCII 代码点 0x12 是控制字符、DC2 或 CTRL+R。

这听起来像是某种编码问题。解决此问题的最简单方法是查看在十六进制编辑器中保存的文件。有一些事情需要检查：

1. 开头的字节顺序标记 (BOM) 可能会混淆一些 XML 解析器，
2. 即使 XML 声明说编码采用 UTF-8，但实际上可能没有该编码，并且文件将被解码错误地。
3. 并非所有 unicode 字符在 XML 中都是合法的，这就是 Firefox 拒绝呈现它的原因。特别是，XML 规范规定 0x9、0xA 和 0xD 是唯一小于 0x20 的有效字符，因此 0x12 肯定会导致兼容的解析器抱怨。

如果您可以将文件上传到pastebin或类似的地方，我可以帮助找到原因并提出解决方案。

编辑：好的，您无法上传。这是可以理解的。

您获得的 XML 不知何故已损坏，理想的做法是联系负责生成该 XML 的一方，看看问题是否可以解决。

不过，在执行此操作之前需要检查一件事 - 您确定获得的数据不受干扰吗？某些形式的通信 (SMS) 仅允许 7 位字符。这会将 0x92（ASCII 正向记号/撇号 - 重音符号？）转换为 0x12。看起来很巧合，特别是如果这些出现在您期望有重音的文件中。

否则，您将不得不尽力利用您所拥有的：

1. 虽然不是绝对必要的，但要采取防御措施并将“UTF-8”作为第二个参数传递给解析器上的setInput .

2. 类似地，通过传递不同的编码作为第二个参数来强制解析器使用另一种字符编码。除了“UTF-8”之外，还可以尝试的编码是“iso-8859-1”和“UTF-16”。

3. 作为最后的手段，您可以删除无效字符，例如删除 0x20 以下的非空白字符（0x9、0xA 和 0xD 都是空白字符） .) 如果删除它们很困难，您可以替换它们。

例如，

class ReplacingInputStream extends FilterInputStream
{
   public int read() throws IOException
   {
      int read = super.read();
      if (read!=-1 && read<0x20 && !(read==0x9 || read==0xA || read==0xB))
         read = 0x20;
      return read;          
   }
}

您将其包装在现有的输入流中，它会过滤掉无效字符。请注意，您可能很容易对 XML 造成更多损坏，或者最终得到无意义的 XML，但同样它可以让您获取所需的数据或更容易地发现问题所在。

Answer 2

我用正则表达式来过滤它，但诀窍不是试图获取和替换重音符号。这取决于编码，您不想更改内容。

尝试将标签的内容插入到此标签中

Like this

<title>My title</title>
<link>http://mylink.com</link>
<description>My description</description>

To this

<title><![CDATA[My title]]></title>
<link><![CDATA[http://milynk.com]]></link>
<description><![CDATA[My Description]]></description>

正则表达式应该不难理解。它对我有用，希望对你有帮助。

Answer 3

UTF-8 的问题在于它是一种多字节编码。因此，它需要一种方法来指示字符何时由多个字节（可能是两个、三个、四个……）组成。这样做的方法是保留一些字节值来表示多字节字符。因此，编码遵循一些基本规则：

• 一字节字符没有 MSB 集（与 7 位 ASCII 兼容的代码）。
• 两个字节字符按序列表示： 110xxxxx 10xxxxxx
• 三个字节： 1110xxxx 10xxxxxx 10xxxxxx
• 四个字节： 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

您的问题是您可能正在读取一些据称编码为 UTF-8 的字符串（如XML 编码定义指出），但字节块可能并未真正以 UTF-8 进行编码（将某些内容声明为 UTF-8 但使用不同的编码（例如 Cp1252）对文本进行编码是一个常见的错误）。您的 XML 解析器尝试将字节块解释为 UTF-8 字符，但发现一些不符合编码规则的内容（非法字符）。即设置两个最高有效字节的两个字节将带来非法编码错误：110xxxxx 后面必须始终跟有 10xxxxxx（诸如 01xxxxxx 11xxxxxx 00xxxxxx 之类的值将是非法的）。

当使用非可变长度编码时，不会出现此问题。即，如果您在 XML 声明中声明您的文件使用 Windows-1252 编码，但最终使用 ANSI，那么您唯一的问题将是非 ASCII 字符（值 > 127）将无法正确呈现。

---

解决方案：

1. 尝试通过其他方式检测编码。
   • 如果您始终从同一来源读取数据，您可以对一些文件进行采样并使用高级文本编辑器来尝试推断文件的实际编码（即notepad++, jEdit 等）。
   • 以编程方式进行。在进行任何实际的 xml 处理之前预处理原始字节。
2. 在 XML 处理器上强制进行实际编码

或者，如果您不介意非 ASCII 字符（无论是否偶尔出现奇怪的符号），您可以直接转到步骤 2并强制 XML 处理为任何 ASCII 兼容的 8 字节固定长度编码（ANSI、任何 Windows-XXXX 代码页、Mac-Roman 编码等）。使用您当前的代码，您可以尝试：

XmlPullParser parser = Xml.newPullParser();
parser.setInput(url.open(), "ISO-8859-1");

Answer 4

调用 setInput(istream, null) 已经意味着拉解析器尝试自行检测编码。由于文件存在实际问题，它显然失败了。所以这并不是说你的代码是错误的——你不能指望能够解析所有不正确的文档，无论是格式错误还是编码错误。

但是，如果您必须尝试解析此特定文档，则可以修改解析代码，使其位于将编码作为参数并包装在 try/catch 块中的函数中。第一次时，不要指定编码，如果出现编码错误，请使用 ISO-8859-1 重新启动。如果必须成功，请对其他编码重复此操作，否则在两次后退出。

Answer 5

在解析 XML 之前，您可以对其进行调整，并在解析之前手动删除重音符号。
也许不是迄今为止最好的解决方案，但它可以完成任务。