从大表中检索所有记录时如何避免 OOM（内存不足）错误？

Question

我的任务是将一个巨大的表转换为自定义 XML 文件。 我将使用 Java 来完成这项工作。

如果我只是发出“SELECT * FROM customer”，它可能会返回大量数据，最终导致 OOM。 我想知道，有没有一种方法可以在记录可用后立即处理该记录，并在 sql 检索过程中从内存中删除该记录？

--- 2009 年 7 月 13 日编辑

让我详细阐述我的问题。 我有 1 台数据库服务器和 1 台应用程序服务器。 当我在应用程序中发出选择查询时，数据将从数据库服务器传输到应用程序服务器。

我相信（如果我错了，请纠正我）ResultSet 将需要等到收到查询中的所有记录。 即使我们将获取大小设置为 4，对于 1000 条记录的表，我们最终在应用程序服务器的堆内存中仍然有 1000 条记录，这是正确的吗？ 获取大小仅影响从/到数据库服务器的往返次数。

我的问题是，如何在 4 个（或任何数量）记录到达应用程序服务器后立即开始处理它，并对其进行处理以释放应用程序服务器中的内存？

Answer 1

通过更多信息，我可以获得更有用的答案。

如果您使用的是 MySQL：

stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY,
       java.sql.ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);

来自 http://www.oracle .com/technology/tech/java/sqlj_jdbc/htdocs/jdbc_faq.html：

java.util.Properties info = new java.util.Properties();
info.put ("user", "scott");
info.put ("password","tiger");
info.put ("defaultRowPrefetch","15");
getConnection ("jdbc:oracle:oci:@",info);

Answer 2

我认为您可以使用与这个相同的解决方案。 可滚动的结果集。

Answer 3

如果您使用 JDBC，则可以使用带有游标的 ResultSet，一次遍历一条记录。 您需要确保将 XML 一次写入一个文件，而不是使用 DOM 构建 XML。

Answer 4

我从经验中学到的一条经验法则是，永远不要将数据库中的所有数据带到应用程序服务器。 您可以做的一件事是实施一个过程来分页数据。

您可以获取包含大约 1000-5000 条记录的一页数据，对其进行处理，然后再次获取下一页的数据。

Answer 5

导出整个表的概念。 （专家注意：我知道它的缺点。）

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileOutputStream;
import java.io.OutputStreamWriter;
import java.io.PrintWriter;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.ResultSetMetaData;
public class FullTableExport {
    public static String toXML(String s) {
        if (s != null) {
            StringBuilder b = new StringBuilder(s.length());
            for (int i = 0, count = s.length(); i < count; i++) {
                char c = s.charAt(i);
                switch (c) {
                case '<':
                    b.append("<");
                    break;
                case '>':
                    b.append(">");
                    break;
                case '\'':
                    b.append("'");
                    break;
                case '"':
                    b.append(""");
                    break;
                case '&':
                    b.append("&");
                    break;
                default:
                    b.append(c);
                }
            }
            return b.toString();
        }
        return "";
    }
    public static void main(String[] args) throws Exception {
        String table = "CUSTOMER";
        int batch = 100;

        Class.forName("oracle.jdbc.driver.OracleDriver");
        Connection conn = DriverManager.getConnection(
            "jdbc:oracle:thin:@server:orcl", "user", "pass");
        PreparedStatement pstmt = conn.prepareStatement(
            "SELECT /*+FIRST_ROWS(" + batch + ") */ * FROM " + table);
        ResultSet rs = pstmt.executeQuery();
        rs.setFetchSize(batch);
        ResultSetMetaData rsm = rs.getMetaData();
        File output = new File("result.xml");
        PrintWriter out = new PrintWriter(new BufferedWriter(
            new OutputStreamWriter(
            new FileOutputStream(output), "UTF-8")), false);
        out.printf("<?xml version='1.0' encoding='UTF-8'?>%n");
        out.printf("<table name='%s'>%n", toXML(table));
        int j = 1;
        while (rs.next()) {
            out.printf("\t<row id='%d'>%n", j++);
            for (int i = 1; i <= rsm.getColumnCount(); i++) {
                out.printf("\t\t<col name='%s'>%s</col>%n", 
                    toXML(rsm.getColumnName(i)), 
                    toXML(rs.getString(i)));
            }
            out.printf("\t</row>%n");
        }
        out.printf("</table>%n", table);
        out.flush();
    }
}

编辑 缺点（感谢@JS）：

• 除了 ojdbc 之外没有使用任何外部库
• 没有任何东西被关闭
• 通用异常 这是
• 一个主要方法
• 使用 print 来生成 XML
• Oracle 特定的 SQL
• 纯文本密码
• 有些列在字符串表示中看起来很尴尬
• UTF-8 太国际化
• XML 结构占用空间很大

Answer 6

OOM 错误发生在哪个阶段，是在数据检索时还是在将数据处理为 XML 文件时？

如果是数据检索，则批量获取数据。 首先获取总行数，按主键对选择进行排序，并将所选行限制为可咀嚼的大小。

如果是在创建XML文件时，则将每个客户的XML节点发送到System.out.println，不要将其保存在内存中。 通过命令行启动程序并将所有输出重定向到文件；

java MyConverter > results.txt

当您循环浏览记录时，所有内容都会保存在文件中。