OutOfMemoryError异常：Java堆空间，如何调试...？

Question

我收到 java.lang.OutOfMemoryError 异常：Java 堆空间。

我正在解析一个 XML 文件，存储数据并在解析完成后输出一个 XML 文件。

我对收到这样的错误感到有点惊讶，因为原始 XML 文件根本不长。

代码：http://d.pr/RSzp 文件：http://d.pr/PjrE

Answer 1

简短的回答解释为什么你有一个 OutOfMemoryError ，对于文件中找到的每个质心，你循环遍历已经“注册”的质心以检查它是否已知（添加一个新的质心或更新已经注册的质心）。但对于每次失败的比较，您都会添加新质心的新副本。因此，对于每个新的质心，它都会添加它，次数与列表中已有的质心一样多，然后您遇到添加的第一个质心，更新它并离开循环...

这是一些重构的代码：

public class CentroidGenerator {

    final Map<String, Centroid> centroids = new HashMap<String, Centroid>();

    public Collection<Centroid> getCentroids() {
        return centroids.values();
    }

    public void nextItem(FlickrDoc flickrDoc) {

        final String event = flickrDoc.getEvent();
        final Centroid existingCentroid = centroids.get(event);

        if (existingCentroid != null) {
            existingCentroid.update(flickrDoc);
        } else {
            final Centroid newCentroid = new Centroid(flickrDoc);
            centroids.put(event, newCentroid);
        }
    }


    public static void main(String[] args) throws IOException, SAXException {

        // instantiate Digester and disable XML validation
        [...]


        // now that rules and actions are configured, start the parsing process
        CentroidGenerator abp = (CentroidGenerator) digester.parse(new File("PjrE.data.xml"));

        Writer writer = null;

        try {
            File fileOutput = new File("centroids.xml");
            writer = new BufferedWriter(new FileWriter(fileOutput));
            writeOuput(writer, abp.getCentroids());

        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                if (writer != null) {
                    writer.close();
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        }

    }

    private static void writeOuput(Writer writer, Collection<Centroid> centroids) throws IOException {

        writer.append("<?xml version='1.0' encoding='utf-8'?>" + System.getProperty("line.separator"));
        writer.append("<collection>").append(System.getProperty("line.separator"));

        for (Centroid centroid : centroids) {
            writer.append("<doc>" + System.getProperty("line.separator"));

            writer.append("<title>" + System.getProperty("line.separator"));
            writer.append(centroid.getTitle());
            writer.append("</title>" + System.getProperty("line.separator"));

            writer.append("<description>" + System.getProperty("line.separator"));
            writer.append(centroid.getDescription());
            writer.append("</description>" + System.getProperty("line.separator"));

            writer.append("<time>" + System.getProperty("line.separator"));
            writer.append(centroid.getTime());
            writer.append("</time>" + System.getProperty("line.separator"));

            writer.append("<tags>" + System.getProperty("line.separator"));
            writer.append(centroid.getTags());
            writer.append("</tags>" + System.getProperty("line.separator"));

            writer.append("<geo>" + System.getProperty("line.separator"));

            writer.append("<lat>" + System.getProperty("line.separator"));
            writer.append(centroid.getLat());
            writer.append("</lat>" + System.getProperty("line.separator"));

            writer.append("<lng>" + System.getProperty("line.separator"));
            writer.append(centroid.getLng());
            writer.append("</lng>" + System.getProperty("line.separator"));

            writer.append("</geo>" + System.getProperty("line.separator"));

            writer.append("</doc>" + System.getProperty("line.separator"));

        }
        writer.append("</collection>" + System.getProperty("line.separator") + System.getProperty("line.separator"));

    }

    /**
     * JavaBean class that holds properties of each Document entry. It is important that this class be public and
     * static, in order for Digester to be able to instantiate it.
     */
    public static class FlickrDoc {
        private String id;
        private String title;
        private String description;
        private String time;
        private String tags;
        private String latitude;
        private String longitude;
        private String event;

        public void setId(String newId) {
            id = newId;
        }

        public String getId() {
            return id;
        }

        public void setTitle(String newTitle) {
            title = newTitle;
        }

        public String getTitle() {
            return title;
        }

        public void setDescription(String newDescription) {
            description = newDescription;
        }

        public String getDescription() {
            return description;
        }

        public void setTime(String newTime) {
            time = newTime;
        }

        public String getTime() {
            return time;
        }

        public void setTags(String newTags) {
            tags = newTags;
        }

        public String getTags() {
            return tags;
        }

        public void setLatitude(String newLatitude) {
            latitude = newLatitude;
        }

        public String getLatitude() {
            return latitude;
        }

        public void setLongitude(String newLongitude) {
            longitude = newLongitude;
        }

        public String getLongitude() {
            return longitude;
        }

        public void setEvent(String newEvent) {
            event = newEvent;
        }

        public String getEvent() {
            return event;
        }
    }

    public static class Centroid {
        private final String event;
        private String title;
        private String description;

        private String tags;

        private Integer time;
        private int nbTimeValues = 0; // needed to calculate the average later

        private Float latitude;
        private int nbLatitudeValues = 0; // needed to calculate the average later
        private Float longitude;
        private int nbLongitudeValues = 0; // needed to calculate the average later

        public Centroid(FlickrDoc flickrDoc) {
            event = flickrDoc.event;
            title = flickrDoc.title;
            description = flickrDoc.description;
            tags = flickrDoc.tags;
            if (flickrDoc.time != null) {
                time = Integer.valueOf(flickrDoc.time.trim());
                nbTimeValues = 1; // time is the sum of one value
            }            
            if (flickrDoc.latitude != null) {
                latitude = Float.valueOf(flickrDoc.latitude.trim());
                nbLatitudeValues = 1; // latitude is the sum of one value
            }
            if (flickrDoc.longitude != null) {
                longitude = Float.valueOf(flickrDoc.longitude.trim());
                nbLongitudeValues = 1; // longitude is the sum of one value
            }
        }

        public void update(FlickrDoc newData) {
            title = title + " " + newData.title;
            description = description + " " + newData.description;
            tags = tags + " " + newData.tags;
            if (newData.time != null) {
                nbTimeValues++;
                if (time == null) {
                    time = 0;
                }
                time += Integer.valueOf(newData.time.trim());
            }
            if (newData.latitude != null) {
                nbLatitudeValues++;
                if (latitude == null) {
                    latitude = 0F;
                }
                latitude += Float.valueOf(newData.latitude.trim());
            }
            if (newData.longitude != null) {
                nbLongitudeValues++;
                if (longitude == null) {
                    longitude = 0F;
                }
                longitude += Float.valueOf(newData.longitude.trim());
            }
        }

        public String getTitle() {
            return title;
        }

        public String getDescription() {
            return description;
        }

        public String getTime() {
            if (nbTimeValues == 0) {
                return null;
            } else {
                return Integer.toString(time / nbTimeValues);
            }
        }

        public String getTags() {
            return tags;
        }

        public String getLat() {
            if (nbLatitudeValues == 0) {
                return null;
            } else {
                return Float.toString(latitude / nbLatitudeValues);
            }
        }

        public String getLng() {
            if (nbLongitudeValues == 0) {
                return null;
            } else {
                return Float.toString(longitude / nbLongitudeValues);
            }
        }

        public String getEvent() {
            return event;
        }
    }
}

Answer 2

可以尝试在 eclipse.ini 文件中将 -Xms 和 -Xmx 值设置得更高（我假设您使用 Eclipse）。

ex)

-vmargs

-Xms128m //(初始堆大小)

-Xmx256m //(最大堆大小)

Answer 3

如果这是您只想完成的一次性事情，我会尝试 Jason 的建议，即增加 Java 可用的内存。

您正在构建一个非常大的对象列表，然后循环该列表以输出一个字符串，然后将该字符串写入文件。列表和字符串可能是内存使用率高的原因。您可以以更加面向流的方式重新组织代码。在开始时打开文件输出，然后在解析每个质心时编写 XML。那么您就不需要保留它们的大列表，也不需要保存表示所有 XML 的大字符串。

Answer 4

转储堆并对其进行分析。您可以使用 -XX:+HeapDumpOnOutOfMemoryError 系统属性配置内存错误时的自动堆转储。

http://www.oracle.com/technetwork/java/javase/ index-137495.html

https ://www.infoq.com/news/2015/12/OpenJDK-9-removal-of-HPROF-jhat

http://blogs.oracle.com/alanb/entry/heap_dumps_are_back_with

Answer 5

回答“如何调试”问题

首先要收集帖子中缺少的信息。可能会帮助未来遇到同样问题的人的信息。

首先，完整的堆栈跟踪。 XML 解析器中引发的内存不足异常与代码中引发的内存不足异常非常不同。

其次，XML文件的大小，因为“一点也不长”是完全没用的。是1K、1M还是1G？有多少个元素。

第三，你如何解析？ SAX、DOM、StAX，是完全不同的东西吗？

第四，你如何使用这些数据。您正在处理一个文件还是多个文件？您是否在解析后不小心保留了数据？代码示例在这里会有所帮助（并且某些第 3 方站点的链接对于未来的 SO 用户来说并不是很有用）。

Answer 6

好吧，我承认我用一个可能的替代方案来避免你的直接问题。您可能需要考虑使用 XStream 进行解析，而不是让它用更少的代码处理大部分工作。下面的粗略示例使用 64MB 堆解析 XML。请注意，它还需要 Apache Commons IO 才能轻松读取输入，从而允许黑客将 转换为 。

import java.io.File;
import java.io.IOException;
import java.util.List;

import org.apache.commons.io.FileUtils;

import com.thoughtworks.xstream.XStream;
import com.thoughtworks.xstream.annotations.XStreamAlias;

public class CentroidGenerator {
    public static void main(String[] args) throws IOException {
        for (Centroid centroid : getCentroids(new File("PjrE.data.xml"))) {
            System.out.println(centroid.title + " - " + centroid.description);
        }
    }

    @SuppressWarnings("unchecked")
    public static List<Centroid> getCentroids(File file) throws IOException {
        String input = FileUtils.readFileToString(file, "UTF-8");
        input = input.replaceAll("collection>", "list>");

        XStream xstream = new XStream();
        xstream.processAnnotations(Centroid.class);

        Object output = xstream.fromXML(input);
        return (List<Centroid>) output;
    }

    @XStreamAlias("doc")
    @SuppressWarnings("unused")
    public static class Centroid {
        private String id;
        private String title;
        private String description;
        private String time;
        private String tags;
        private String latitude;
        private String longitude;
        private String event;
        private String geo;
    }
}

Answer 7

我下载了你的代码，但我几乎从来没有这样做过。我可以 99% 肯定地说错误出在您的代码中：循环内的“if”不正确。它与 Digester 或 XML 没有任何关系。要么您犯了逻辑错误，要么您没有充分考虑要创建多少个对象。

但你猜怎么着：我不会告诉你你的错误是什么。

如果你无法从我上面给出的一些提示中弄清楚，那就太糟糕了。这与您在原始帖子中没有提供足够的信息（在原始帖子中）来实际开始调试而让所有其他受访者经历的情况相同。

也许您应该阅读 - 实际阅读 - 我以前的帖子，并用它要求的信息更新您的问题。或者，如果你懒得这么做，那就接受你的 F。