流上字节的 Java 正则表达式替代方案

Question

我的 XML 文件（以 UTF-8 编码）有两个问题：

• 其中一些（不是全部）包含 字节顺序标记 EF BB BF

• 其中一些（不是全部）包含空字符00，分布在整个文件中。

这两个问题都阻止我使用 SAX 解析器解析 XML。我当前的方法是将文件读入字符串并使用正则表达式来提取这些字符并将字符串写回文件，效果很好。 然而，我的文件非常大（数百兆字节），并且将文件读入字符串，每次调用replaceAll（）时都会创建相同大小的结果字符串，很快会导致java堆空间错误。

增加堆大小绝对不是一个长期的解决方案。我需要流式传输文件并即时提取所有这些字符。

关于有效的解决方案应该是什么样子有什么建议吗？

Answer 1

我只关注 BOM，发现空字节问题为时已晚。我仍然将其作为补充发布，以防有​​人仅对 BOM 有问题。请善待反对票。 :)

---

您可以使用支持 mark() 和 reset() 的 InputStream 读取前三个字节，读取第一个字节三个字节，如果不是 BOM，则重置：

InputStream in = new BufferedInputStream(
        new FileInputStream(new File("xmlfile.xml")));
in.mark(3);
byte[] maybeBom = new byte[] {
        (byte) in.read(), (byte) in.read(), (byte) in.read() };

if(!Arrays.equals(maybeBom, new byte[] { (byte) 0xEF, (byte) 0xBB, (byte) 0xBF })) {
    in.reset();
}

我使用 BufferedInputStream ，因为 FileInputStream 不支持 mark() 。

Answer 2

我将继承 FilterInputStream 来在运行时过滤掉不需要的字节。

该任务应该相当简单，因为字节顺序标记可能只位于文件的开头（因此您只需要检查那里），并且可以通过简单的 == 比较轻松过滤空字节（不需要类似正则表达式的功能）。

这很可能还会提高性能，因为您不需要在重新读取之前将完整更正的文件写入磁盘。

Answer 3

为什么不在将数据读入 SAX 解析器时过滤数据呢？这样您就不需要重写该文件。您可以重写 FilterInputStream 的 read() 方法来删​​除不需要的字节。

我认为这就是@Joachim 所建议的。 ;)