xml工具设计问题

Question

我在一次采访中被问到这个问题。当然，解决方案有很多方法，但只是想知道是否有一些真正脱颖而出的最佳方法。有一个 2GB 的巨大 xml 文件存储在具有 512 MB RAM 的低端 PC 的硬盘中。 xml 文件存储时间戳和相应的字符串值。我必须设计一个工具来解析 xml 文件以获取特定信息，例如特定时间戳中的字符串。面试官并不关心工具中的搜索技术。他希望采用高水平的方法来设计该工具，仅考虑该工具的 5.12 亿 RAM 和 2 GB 大小。有什么有趣的设计方法吗？

Answer 1

XML 解析有两种方法 1) 使用 dom 解析器 2) 使用 sax 解析器。尝试使用 dom 解析器解析具有 512B RAM 的 2GB 文件肯定会导致内存不足异常，因此，使用 sax 解析器，它也会更快，因为你已经知道你在寻找什么。

Answer 2

对于此用例，我将使用 Java SE 6 中的 StAX API，而不是 SAX。下面的代码来自我对类似问题的回答。 StAX 用于将大型 XML 文件拆分为多个较小的文件：

import java.io.*;
import javax.xml.stream.*;
import javax.xml.transform.*;
import javax.xml.transform.stax.StAXSource;
import javax.xml.transform.stream.StreamResult;

public class Demo {

    public static void main(String[] args) throws Exception  {
        XMLInputFactory xif = XMLInputFactory.newInstance();
        XMLStreamReader xsr = xif.createXMLStreamReader(new FileReader("input.xml"));
        xsr.nextTag(); // Advance to statements element

        TransformerFactory tf = TransformerFactory.newInstance();
        Transformer t = tf.newTransformer();
        while(xsr.nextTag() == XMLStreamConstants.START_ELEMENT) {
            File file = new File("out/" + xsr.getAttributeValue(null, "account") + ".xml");
            t.transform(new StAXSource(xsr), new StreamResult(file));
        }
    }

}

下面是 skaffman 的类似答案，其中描述了 StAX 如何能够用于按块处理 XML 文档。在他的回答中，JAXB用于处理块：

• 可以JAXB 分块解析大型 XML 文件

Answer 3

也许解析应该使用 SAX 而不是 DOM 来完成。与 DOM 解析器一样，在访问数据之前，您在内存中拥有完整的文档。如果我理解正确，那么您从一开始就已经知道您感兴趣的时间戳，因此您可以使用 SAX 解析器来获取相应的字符串值，这应该更快并且不应该消耗那么多内存。