将大型结果集写入文件

Question

我正在尝试将大型结果集（约 1 毫米行）写入单个文件。在 Java 1.6 中是否有首选/有效的方法来执行此操作？

Answer 1

这取决于所使用的 JDBC 驱动程序。您需要指示 JDBC 驱动程序不预先将整个 ResultSet 加载到 Java 内存中，而是在每个 next() 时按行加载它调用。然后，在 ResultSet#next() 循环内，您需要将数据立即写入文件，而不是将其保存在 List 或其他内容中。

目前尚不清楚您使用的是什么 JDBC 驱动程序，但例如，可以指示 MySQL JDBC 驱动程序按照 MySQL JDBC 驱动程序文档：

结果集

默认情况下，ResultSets 被完全检索并存储在内存中。在大多数情况下这是最有效的操作方式，并且由于MySQL网络协议的设计更容易实现。如果您正在使用具有大量行或较大值的结果集，并且无法在 JVM 中为所需的内存分配堆空间，则可以告诉驱动程序一次将结果流回一行。

要启用此功能，您需要按以下方式创建一个 Statement 实例：

 stmt = connection.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
 stmt.setFetchSize(Integer.MIN_VALUE);

这是一个具体的启动示例：

try (
    PrintWriter writer = new PrintWriter(new OutputStreamWriter(new BufferedOutputStream(new FileOutputStream("/records.txt")), "UTF-8"));
    Connection connection = dataSource.getConnection();
    Statement statement = connection.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
) {
    statement.setFetchSize(Integer.MIN_VALUE);

    try (ResultSet resultSet = statement.executeQuery("SELECT col1, col2, col3 FROM sometable")) {
        while (resultSet.next()) {
            writer.append(resultSet.getString("col1")).append(",")
                  .append(resultSet.getString("col2")).append(",")
                  .append(resultSet.getString("col3")).println();
        }
    }
}

顺便说一句，我首先检查数据库是否没有对此的内置 SQL 支持，这可以做更多的事情高效。例如，MySQL 有一个 SELECT INTO OUTFILE 构造 为此。

SELECT 的 SELECT ... INTO OUTFILE 'file_name' 形式将选定的行写入文件。该文件是在服务器主机上创建的，因此您必须具有 FILE 权限才能使用此语法。 file_name 不能是现有文件，这可以防止 /etc/passwd 等文件和数据库表被破坏。从 MySQL 5.1.6 开始，character_set_filesystem 系统变量控制文件名的解释。

Answer 2

来自 GitHub： https://github.com/OhadR/ohadr.common/blob/master/src/main/java/com/ohadr/common/utils/resultset/ResultSetConverters.java

public static void writeResultSetToWriter(ResultSet resultSet, PrintWriter writer) throws SQLException
{
ResultSetMetaData metadata = resultSet.getMetaData();
int numColumns = metadata.getColumnCount();
int numRows = 0;

while(resultSet.next())             //iterate rows
{
    ++numRows;
    JSONObject obj = new JSONObject();      //extends HashMap
    for (int i = 1; i <= numColumns; ++i)           //iterate columns
    {
        String column_name = metadata.getColumnName(i);
        obj.put(column_name, resultSet.getObject(column_name));
    }
    writer.println(obj.toJSONString());

    if(numRows % 1000 == 0)
        writer.flush();
}