处理巨大的管道分隔文件

Question

参考我之前的帖子

从分隔文件中删除第一行

我能够处理较小的文件并删除第一行......但是如果文件很大，则存在内存问题，因为我正在读取整个文件，然后再次将其写回。

任何人都可以建议一个更好的替代方案来解决这个问题。

感谢您的提前。

维韦克

Answer 1

您必须逐行读取文件并将其写入到位：

BufferedReader reader = new BufferedReader(new FileReader("foo.txt"));
PrintWriter writer = new PrintWriter(new FileWriter("_foo.txt"));

String line;
boolean firstLine = true;

while ( (line = reader.readLine()) !=null) {
    if (!firstLine) {
        writer.println(line);
        firstLine = false;
    }
}

Answer 2

为了避免重写整个文件以删除一行，您可以维护文件“开始”的索引。该索引是您认为开始的位置以及开始读取文件的位置。您可以定期（例如每晚一次）重写文件，以便此“开始”是文件实际开始的位置。

该“开始”位置可以存储在另一个时间或现有文件的开头。

这意味着您可以逐步“删除”文件的所有行，而无需重写它。