用 Java 创建和保存大型 XML

发布于 2024-12-17 12:29:00 字数 671 浏览 3 评论 0原文

我正在开发一个java应用程序，其工作是创建和保存XML（大尺寸）。我得到的样本是 300 MB 的 XML 文件。

该应用程序旨在从数据库收集大量数据并将其保存为 XML 格式。该应用程序因其大量 IO 和内存使用而被设计为并行处理 MAX 3 此类请求。

现在的要求是让它并行处理最多 50 个这样的请求。当前应用程序使用 XMLbean 创建 XML，然后将其保存到文件系统。该应用程序在 weblogic 服务器上作为 Web 服务公开（它位于 64 位操作系统和 Java 最大堆大小 id 4 GB 上）。

我需要您对以下问题的意见：

1) 是否有可与 XSD 配合使用的 XML API，并可用于以最小的开销创建 200-200 MB 的大型 XML？ XMLbean 对我们来说工作得很好，但是有什么东西可以更好地处理它吗？

2）将其保存到文件系统的最佳且最节省内存的方法是什么？ - 我正在考虑将当前 writer 更改为 bufferedWriter 并让它在物理写入磁盘之前将 1024 字节保存到内存中。 - 增加它会有副作用吗？

3）如果技术选择和服务器等没有限制 - 什么将是理想的解决方案！

编辑 1# 数据库访问速度很快（大约占总时间的 5%）。 XML 的创建速度很慢（需要 80%）的时间。节省需要 15%（但我认为我可以做很多改进，所以我不担心这一点）。 - 谢谢路易斯。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

_蜘蛛 2024-12-24 12:29:00

我有一个类似的问题。服务器正在使用 JDOM 将数据写入 XML 文件中。多年来，这些数据变得越来越大，服务器变得越来越慢，并且使用的内存也越来越大。原因如下：

服务器将数据累积在大哈希表和列表中。在工作结束时，他在内存中创建了带有 JDOM 的 XML 文档，然后将其写入磁盘。

我将 XML 写入更改为使用带有 XMLStreamWriter
唯一的问题是，编写的 xml 文件不是很漂亮。这可以通过 IndentingXMLStreamWriter

代码示例如下：

FileOutputStream fileOutputStream = new FileOutputStream(outXmlFile);
XMLStreamWriter defaultWriter = factory.createXMLStreamWriter(fileOutputStream, encoding);
IndentingXMLStreamWriter writer = new IndentingXMLStreamWriter(defaultWriter);
writer.setIndentStep("  ");
try
{
    writer.writeStartDocument(encoding, "1.0");

    if (stylesheet != null)
    {
        writer.writeProcessingInstruction("xml-stylesheet", "type='text/xsl' href='" + stylesheet + "'");
        writer.writeCharacters("\n");
    }


    writer.writeStartElement(TAG_ROOT);
    writer.writeAttribute(TAG_OBJECT_TYPE, rootObject.getClass().getSimpleName());

    ...

    writer.writeEndElement();
    writer.writeEndDocument();
} 
finally
{
    writer.flush();
    writer.close();
    fileOutputStream.close();
}

I had a similiar problem. A server was writing data with JDOM in XML files. Over the years this data was getting bigger, and the server was getting slower and the memory used was huge. The reason for this was the following:

The server accumulated the data in big hashtables and list. At the end of a job he created the XML Document with JDOM in memory and than wrotes it to the disk.

I changed the XML writing to use a stream approach with a XMLStreamWriter
The only problem was, that the written xml file was not very pretty. This could be solved with a IndentingXMLStreamWriter

A code example would be:

FileOutputStream fileOutputStream = new FileOutputStream(outXmlFile);
XMLStreamWriter defaultWriter = factory.createXMLStreamWriter(fileOutputStream, encoding);
IndentingXMLStreamWriter writer = new IndentingXMLStreamWriter(defaultWriter);
writer.setIndentStep("  ");
try
{
    writer.writeStartDocument(encoding, "1.0");

    if (stylesheet != null)
    {
        writer.writeProcessingInstruction("xml-stylesheet", "type='text/xsl' href='" + stylesheet + "'");
        writer.writeCharacters("\n");
    }


    writer.writeStartElement(TAG_ROOT);
    writer.writeAttribute(TAG_OBJECT_TYPE, rootObject.getClass().getSimpleName());

    ...

    writer.writeEndElement();
    writer.writeEndDocument();
} 
finally
{
    writer.flush();
    writer.close();
    fileOutputStream.close();
}

回复收藏 0 原文