在java中从xml解码大型base64：OutOfMemory

Question

我需要将 xml 文件的 base64 编码元素写入单独的文件中。问题：文件的大小很容易达到 100 MB。我尝试的每个解决方案都以“java.lang.OutOfMemoryError：Java堆空间”结束。问题不在于一般的读取xml或解码过程，而在于base64块的大小。

我使用 jdom、dom4j 和 XMLStreamReader 来访问 xml 文件。但是，一旦我想访问相应元素的 base64 内容，我就会收到上述错误。我还尝试使用 saxon 的 base64Binary-to-octets 函数进行 xslt，但结果当然是相同的。

有没有一种方法可以将这个 Base64 编码部分流式传输到文件中，而无需将整个块分成一个部分？

感谢您的提示，

安德烈亚斯

Answer 1

Apache Commons Codec 有一个 Base64OutputStream，它应该允许您以可扩展的方式提供 XML 数据方式，通过将 Base64OutputStream 与 FileOutputStream 链接起来。

您需要将 XML 表示为字符串，因此您甚至可能根本不需要将其读入 DOM 结构。

类似于：

PrintWriter printWriter = new PrintWriter(
   new Base64OutputStream(
      new BufferedOutputStream(
         new FileOutputStream("/path/to/my/file")
      )
   )
);
printWriter.write(myXml);
printWriter.close();

如果输入 XML 文件太大，那么您应该循环将其块读入缓冲区，并将缓冲区内容写入输出（即标准的读取器到写入器副本）。

Answer 2

我认为任何 XML api 都不会让您以流而不是字符串的形式访问元素的文本。如果字符串是 100 MB，那么您唯一的选择可能是更改 JVM 的堆大小，直到没有任何 OutOfMemoryError ：

java -Xmx256m your.class.Name

Answer 3

尝试 StAX API（教程）。对于大型文本元素，您应该获得多个文本事件，您需要将它们推送到流式 Base64 实现中（如提到的 skaffman）。

Answer 4

如果您的文件可以变得那么大，请不要使用 DOM 解析器。使用简单的 SAX 方法来访问数据元素，并将 Base64 数据流式传输到 Base64OutputStream 中，如上所述。

Answer 5

正如 lbruder 所说，使用 SAX 解析器以流方式读取文档。如果您使用 Base64OutputStream 那么您必须设置标志以使其解码而不是默认的编码。您还必须将字符数组从字符回调转换为字节数组，然后再将其传递到输出流，这需要额外的内存分配和副本。

我为这个用例编写了一个替代的base64解码器，它可以在 github.以下是有关如何使用它的示例：

Base64StreamDecoder decoder = new Base64StreamDecoder();
OutputStream out;

...

public void startElement(String uri, String localName, String qName, Attributes atts) {
    decoder.reset();
    out = new BufferedOutputStream(new FileOutputStream(...));
}

public void endElement(String uri, String localName, String qName) {
    decoder.checkComplete();
    out.close();
}

public void characters(char[] ch, int start, int length) {
    decoder.decode(ch, start, length, out);
}