使用 Java 的 BufferedInputStream 将大文件存储到 MySQL 数据库时出现 java.lang.outOfMemoryError

Question

我目前正在尝试使用 java 在 MySQL 5.5 数据库上存储大文件。我的主类称为 FileDatabaseTest。它具有以下方法：

import java.sql.*;
import java.io.*;

...

public class FileDatabaseTest {

...

private void uploadToDatabase(File file, String description) {
        try {
            PreparedStatement stmt = connection.prepareStatement(
                "INSERT INTO FILES (FILENAME, FILESIZE, FILEDESCRIPTION, FILEDATA) " +
                    "VALUES (?, ?, ?, ?)");
            stmt.setString(1, file.getName());
            stmt.setLong(2, file.length());
            stmt.setString(3, description);
            stmt.setBinaryStream(4, new FileInputStream(file));
            stmt.executeUpdate();
            updateFileList();
            stmt.close();
        } catch(SQLException e) {
            e.printStackTrace();
        } catch(FileNotFoundException e) {//thrown by FileInputStream constructor
            e.printStackTrace();
        } catch(SecurityException e) { //thrown by FileInputStream constructor
            e.printStackTrace();
        }
    }

...

}

数据库只有一个表 - “FILES”表，并且它具有以下列。

ID - AUTOINCREMENT, PRIMARY KEY

FILENAME - VARCHAR(100)

FILESIZE - BIGINT

FILEDESCRIPTION - VARCHAR(500)

FILEDATA - LONGBLOB

当上传小文件时，程序运行良好，但是当我上传20MB这样的文件时，上传过程非常慢。因此，我尝试将 FileInputStream 放入以下代码中的 BufferedInputStream 中：

stmt.setBinaryStream(4, new BufferedInputStream(new FileInputStream(file));

上传过程变得非常快。就像将文件复制到另一个目录一样。但是当我尝试上传超过 400mb 的文件时，出现以下错误：

Exception in thread "Thread-5" java.lang.OutOfMemoryError: Java heap space
    at com.mysql.jdbc.Buffer.ensureCapacity(Buffer.java:156)
    at com.mysql.jdbc.Buffer.writeBytesNoNull(Buffer.java:514)
    at com.mysql.jdbc.PreparedStatement.escapeblockFast(PreparedStatement.java:1169)
    at com.mysql.jdbc.PreparedStatement.streamToBytes(PreparedStatement.java:5064)
    at com.mysql.jdbc.PreparedStatement.fillSendPacket(PreparedStatement.java:2560)
    at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2401)
    at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2345)
    at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2330)
    at FileDatabaseTest$2.run(FileDatabaseTest.java:312)
    at java.lang.Thread.run(Thread.java:662)

因此我尝试使用嵌入式 Apache-Derby 数据库而不是 MySQL，但没有收到错误。我能够使用 BufferedInputStream 在 Derby 数据库中上传 500MB 到 1.5G 的文件。我还观察到，当使用 BufferedInputStream 与 MySQL 服务器上传大文件时，JVM 消耗了大量内存，而当我在 Derby 数据库中使用它时，JVM 的内存使用量保持在 85MB 到 100MB 左右。

我对 MySQL 比较陌生，我只是使用它的默认配置。我在其配置中唯一更改的是“max_allowed_pa​​cket”大小，这样我就可以将最多 2GB 的文件上传到数据库。所以我想知道错误是从哪里来的。是 MySQL 还是 MySQL Connector/J 的 bug？或者我的代码有问题吗？

我在这里试图实现的是能够使用java上传大文件（最大2GB）到MySQL服务器，而不增加java堆空间。

Answer 1

如果您不想增加 JVM 堆大小，还有另一种解决方法：

首先，您的 MySQL 版本应该高于 5.0。

其次，Statement.getResultSetType() 应该是 TYPE_FORWARD_ONLY，ResultSetConcurrency 应该是 CONCUR_READ_ONLY（默认）。

第三，包括以下行之一：
1).statement.setFetchSize(Integer.MIN_VALUE);
2).((com.mysql.jdbc.Statement)stat).enableStreamingResults();

现在您将一一获取结果行

Answer 2

为了解决这个问题，请尝试增大 JVM 堆大小。

永久增加 Java 堆大小？
http://javahowto.blogspot。 com/2006/06/6-common-errors-in-setting-java-heap.html

Answer 3

运行 Java 代码时增加 JVM 堆大小：

right click your java file
    ->run as->run configurations->arguments->VM arguments

Answer 4

看起来更像是 MySQL JDBC 问题。当然，您可以考虑 GZip + 管道 I/O。

我还发现了一个糟糕的解决方案，分部分进行插入：

UPDATE FILES SET FILEDATA = CONCAT(FILEDATA, ?)

我们可以得出结论，对于大文件，最好将其存储在磁盘上。

尽管如此：

final int SIZE = 1024*128;
InputStream in = new BufferedInputStream(new FileInputStream(file), SIZE);
stmt.setBinaryStream(4, in);
stmt.executeUpdate();
updateFileList();
stmt.close();
in.close(); //?

我认为默认缓冲区大小为 8 KB，较大的缓冲区可能会显示不同的内存行为，也许可以阐明问题。

尝试封闭自己应该不会有什么坏处。