是“加载数据” MySQL 和 Java 可能没有文件（即在内存中）吗？

发布于 2024-09-17 21:39:13 字数 277 浏览 6 评论 0原文

我正在优化将约 10TB 数据导入 MySQL 数据库的过程。目前，我可以在当前笔记本电脑上在大约 14 分钟内导入 2.9GB（+0.8GB 索引）。该过程包括读取数据文件（Oracle“.dat”导出）、解析数据、将数据写入 CSV 文件并对其执行“LOAD DATA LOCAL”sql 命令。

是否可以提高导入速度（无需更改硬件）？有没有办法去掉将文件写入文件系统并让MySQL再次读取的步骤。是否可以将内存中的数据直接传输到 MySQL（例如，通过 JDBC 驱动程序）？

预先非常感谢，约尔格.

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

琉璃繁缕 2024-09-24 21:39:13

似乎从 MySQL Connector/J JDBC 驱动程序版本 5.1.3 开始，您可以使用 com.mysql.jdbc.Statement.setLocalInfileInputStream() 方法，在 Java 代码内部，用于“管道”内存格式化字符串/文本到“LOAD DATA INFILE”调用。这意味着您不必必须写出临时文件并从内存中重新读回。请参考：

http://dev .mysql.com/doc/refman/5.1/en/connector-j-reference-implementation-notes.html（页面底部）

此过程也概述于帖子：

http://jeffrick.com/2010/03/23/bulk-insert-into-a-mysql-database

O 'reilly 制作了涵盖 MySQL/JDBC 性能宝石的 PDF ，指的是这个。

还提到了它与 Hadoop 的用法（高级Java 主题）。

希望这一切都有帮助。

干杯

丰富

回复收藏 0 原文

度的依靠╰つ 2024-09-24 21:39:13

实际的工作代码很难获得，所以这里有一些：

@Test
public void bulkInsert() throws SQLException {
    try(com.mysql.jdbc.Connection conn = (com.mysql.jdbc.Connection) dao.getDataSource().getConnection()) {

        conn.setAllowLoadLocalInfile(true);

        try(com.mysql.jdbc.Statement stmt = (com.mysql.jdbc.Statement) conn.createStatement()) {

            stmt.execute("create temporary table BasicDbTest_1 (phone integer)");

            String data = "8675309\n";
            stmt.setLocalInfileInputStream(new ByteArrayInputStream(data.getBytes()));

            stmt.execute("load data local infile '' into table BasicDbTest_1");

            try(ResultSet rs = stmt.executeQuery("select phone from BasicDbTest_1")) {
                Assert.assertTrue(rs.next());
                Assert.assertEquals(rs.getInt(1), 8675309);                 
            }
        }
    }
}

Actual working code for this was hard to come by, so here's some:

@Test
public void bulkInsert() throws SQLException {
    try(com.mysql.jdbc.Connection conn = (com.mysql.jdbc.Connection) dao.getDataSource().getConnection()) {

        conn.setAllowLoadLocalInfile(true);

        try(com.mysql.jdbc.Statement stmt = (com.mysql.jdbc.Statement) conn.createStatement()) {

            stmt.execute("create temporary table BasicDbTest_1 (phone integer)");

            String data = "8675309\n";
            stmt.setLocalInfileInputStream(new ByteArrayInputStream(data.getBytes()));

            stmt.execute("load data local infile '' into table BasicDbTest_1");

            try(ResultSet rs = stmt.executeQuery("select phone from BasicDbTest_1")) {
                Assert.assertTrue(rs.next());
                Assert.assertEquals(rs.getInt(1), 8675309);                 
            }
        }
    }
}

回复收藏 0 原文

~没有更多了~