处理 Java EE 应用程序中的大记录

Question

有一个表phonenumbers，其中包含两列：id 和number。表中大约有五十万个条目。数据库是MySQL。

要求是开发一个连接到该数据库的简单 Java EE 应用程序，允许用户通过遵循特定 URL 以逗号分隔样式下载所有数字值。

如果我们获取一个巨大的字符串数组中的所有值，然后将它们连接在一个字符串中（所有值之间用逗号），然后将其发送给用户，这听起来是一个正确的解决方案吗？

该应用程序不是公开的，并且将由有限的用户使用。的人。

Answer 1

最好的办法是不以任何方式将数据存储在 Java 内存中，而是在数据传入时立即将获取的数据写入响应。您还需要配置 MySQL JDBC 驱动程序以通过 Statement#setFetchSize() 根据 MySQL JDBC 驱动程序文档，否则它将把整个内容缓存在内存中。

假设您熟悉 Servlet，下面是一个将所有这些都考虑在内的启动示例：

protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
    response.setContentType("text/plain");
    response.setHeader("Content-Disposition", "attachment;filename=numbers.txt"); // Force download popup.

    Connection connection = null;
    Statement statement = null;
    ResultSet resultSet = null;
    Writer writer = response.getWriter();

    try {
        connection = database.getConnection();
        statement = connection.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
        statement.setFetchSize(Integer.MIN_VALUE);
        resultSet = statement.executeQuery("SELECT number FROM phonenumbers");

        while (resultSet.next()) {
            writer.write(resultSet.getString("number"));
            if (!resultSet.isLast()) {
                writer.write(",");
            }
        }
    } catch (SQLException e) {
        throw new ServletException("Query failed!", e);
    } finally { 
        if (resultSet != null) try { resultSet.close; } catch (SQLException logOrIgnore) {}
        if (statement != null) try { statement.close; } catch (SQLException logOrIgnore) {}
        if (connection != null) try { connection.close; } catch (SQLException logOrIgnore) {}
    }
}

Answer 2

正确设置 CSV 输出格式还需要更多的工作。最简单的方法是使用现有的库（例如 这个库）来生成输出文件。

您可以将输出生成到磁盘上的文件（在 Web 服务器上），然后将浏览器重定向到该文件（使用 cron 作业或其他清理旧数据的方法），或者直接将结果流式传输回用户。

如果您直接进行流式传输，请确保将 MIME 类型设置为将在用户浏览器中触发下载的内容（例如 text/csv 或 text/comma-separated-values）

Answer 3

如果使用 Mysql 5.1+，我只需使用专有语法将文件转储到某处并将其传输到 Servlet 响应中。

SELECT a,b,a+b INTO OUTFILE '/tmp/result.txt'
  FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
  LINES TERMINATED BY '\n'
  FROM test_table;

http://dev.mysql.com/doc/refman/5.1/ en/select.html

对于这么多记录，如果你还想使用 JDBC，你可以尝试以下方法：

• fetch the number ofrecords fetch Few
  记录（使用查询
  limit ）并
• 在达到数量时 写下它们
  记录在一个块中，你获取另一个
  1 直到达到最大值
  记录数