使用 Java 访问数据集的最快方法是什么？

Question

我有一个包含 180 万行数据的大文件，我需要能够读取该文件以用于我正在编写的机器学习程序。数据当前位于 CSV 文件中，但显然我可以根据需要将其放入数据库或其他结构中 - 它不需要定期更新。

我现在使用的代码如下。我首先将数据导入到数组列表中，然后将其传递到表模型。这非常慢，目前只需要六分钟才能执行前 10,000 行，这是不可接受的，因为我需要能够经常针对数据测试不同的算法。

我的程序只需要访问每行数据一次，因此不需要将整个数据集保存在 RAM 中。我是否最好从数据库中读取数据，或者是否有更好的方法逐行读取 CSV 文件，但速度更快？

import java.io.File;
import java.io.FileNotFoundException;
import java.util.ArrayList;
import java.util.Scanner;
import javax.swing.table.DefaultTableModel;
import javax.swing.table.TableModel;

public class CSVpaser {

public static TableModel parse(File f) throws FileNotFoundException {
    ArrayList<String> headers = new ArrayList<String>();
    ArrayList<String> oneDdata = new ArrayList<String>();
    //Get the headers of the table.
    Scanner lineScan = new Scanner(f);
    Scanner s = new Scanner(lineScan.nextLine());
    s.useDelimiter(",");
    while (s.hasNext()) {
        headers.add(s.next());
    }

    //Now go through each line of the table and add each cell to the array list
    while (lineScan.hasNextLine()) {
       s =  new Scanner(lineScan.nextLine());
       s.useDelimiter(", *");
       while (s.hasNext()) {
           oneDdata.add(s.next());
       }
    }
    String[][] data = new String[oneDdata.size()/headers.size()][headers.size()];
    int numberRows = oneDdata.size()/headers.size();

    // Move the data into a vanilla array so it can be put in a table.
    for (int x = 0; x < numberRows; x++) {
        for (int y = 0; y < headers.size(); y++) {
            data[x][y] = oneDdata.remove(0);
        }
    }

    // Create a table and return it
    return new DefaultTableModel(data, headers.toArray());


}

更新： 根据我在重写代码的答案中收到的反馈，它现在运行时间为 3 秒，而不是 6 分钟（对于 10,000 行），这意味着整个文件只需 10 分钟......但是关于如何加快速度的任何进一步建议它将不胜感激：

 //加载数据文件
    文件 f = new File("data/primary_training_short.csv");

    Scanner lineScan = new Scanner(f);
    Scanner s = new Scanner(lineScan.nextLine());
    s.useDelimiter(",");

    //now go through each line of the results
    while (lineScan.hasNextLine()) {
       s =  new Scanner(lineScan.nextLine());
       s.useDelimiter(", *");
       String[] data = new String[NUM_COLUMNS];

       //get the data out of the CSV file so I can access it
       int x = 0;
       while (s.hasNext()) {
           data[x] = (s.next());
           x++;
       }
       //insert code here which is excecuted each line
   }

Answer 1

data[x][y] = oneDdata.remove(0);

那样效率会非常低。每次从 ArrayList 中删除第一个条目时，所有其他条目都需要向下移动。

至少您需要创建一个自定义 TableModel，这样您就不必复制数据两次。

如果您想将数据保存在数据库中，请在网上搜索 ResultSet TableModel。

如果您想将其保留为 CSV 格式，则可以使用 ArrayList 作为 TableModel 的数据存储。因此您的 Scanner 代码会将数据直接读取到 ArrayList 中。有关此类解决方案，请参阅列表表模型。或者您可能想使用 Bean 表模型。

当然，真正的问题是谁有时间浏览所有 180 万条记录？因此，您确实应该使用数据库并具有查询逻辑来过滤从数据库返回的行。

我的程序只需要访问每行数据一次，因此不需要将整个数据集保存在 RAM 中

那么为什么要在 JTable 中显示它呢？这意味着整个数据将存储在内存中。

Answer 2

Sqllite 是一个非常轻量级的基于文件的数据库，根据我的说法，这是解决您问题的最佳解决方案。

查看这个非常好的 java 驱动程序。我将它用于我的一个 NLP 项目，效果非常好。

Answer 3

这就是我的理解：您的要求是对加载的数据执行一些算法，并且在运行时也执行一些算法，即

• 加载一组数据
• 执行一些计算
• 加载另一组数据
• 执行更多计算，依此类推，直到我们到达 CSV 的末尾

由于两组数据之间没有相关性，并且您对数据执行的算法/计算是自定义逻辑（SQL 中没有内置函数），这意味着您可以在 Java 中执行此操作，即使不使用任何数据库，这应该是最快的。

但是，如果您对两组数据执行的逻辑/计算在 SQL 中有一些等效的功能，并且有一个单独的数据库运行在良好的硬件（即更多的内存/CPU）上，则通过过程/执行整个逻辑SQL 中的函数可以执行得更好。

Answer 4

你可以使用opencsv包，他们的CSVReader可以迭代大型CSV文件，对于这样的大数据，你还应该使用NaiveBayes、LinearRegression等在线学习方法。