如何使用Spring Boot将巨大的TSV文件导入内存数据库中的H2

Question

我有一个巨大的tsv文件，我需要将它们导入内存数据库中的H2。

我可以使用扫描仪读取它，然后按行导入它，但需要几个小时！

是否有任何更快的方法将TSV文件导入内存数据库中的H2？

Answer 1

使用插入选择转换以直接从文件导入到H2表中。

如何将CSV文件读取到H2数据库中：

public static void main (String [] args) throws Exception {

    Connection conn = null;
    Statement stmt = null;

    Class.forName("org.h2.Driver");
    conn = DriverManager.getConnection("jdbc:h2:~/test", "", "");
    stmt = conn.createStatement();

    stmt.execute("drop table if exists csvdata");
    stmt.execute("create table csvdata (id int primary key, name varchar(100), age int)");
    stmt.execute("insert into csvdata ( id, name, age )     select convert( \"id\",int ), \"name\", convert( \"age\", int)   from CSVREAD( 'c:\\tmp\\sample.csv', 'id,name,age', null ) ");
    ResultSet rs = stmt.executeQuery("select * from csvdata");

    while (rs.next()) {
        System.out.println("id " + rs.getInt("id") + " name " + rs.getString("name") + " age " + rs.getInt("age") );
    }
    stmt.close();
}

或

SELECT * FROM CSVREAD('test.csv');
-- Read a file containing the columns ID, NAME with
SELECT * FROM CSVREAD('test2.csv', 'ID|NAME', 'charset=UTF-8 fieldSeparator=|');
SELECT * FROM CSVREAD('data/test.csv', null, 'rowSeparator=;');
-- Read a tab-separated file
SELECT * FROM CSVREAD('data/test.tsv', null, 'rowSeparator=' || CHAR(9));
SELECT "Last Name" FROM CSVREAD('address.csv');
SELECT "Last Name" FROM CSVREAD('classpath:/org/acme/data/address.csv');

h2 csvread函数

这些命令的场分离器。