从大文件中按数字读取行

Question

我有一个包含 1500 万行的文件（内存无法容纳）。我还有一个小的行号向量 - 我想要提取的行。

如何一次性读出这些行？

我希望有一个 C 函数可以一次完成它。

Answer 1

诀窍是使用连接并在 read.table 之前打开它：

con<-file('filename')
open(con)

read.table(con,skip=5,nrow=1) #6-th line
read.table(con,skip=20,nrow=1) #27-th line
...
close(con)

您也可以尝试 scan，它更快并且提供更多控制。

Answer 2

如果它是二进制文件

一些讨论在这里：
仅读取 Stata .DTA 文件的一部分在 R 中，

如果它是 CSV 或其他文本文件，

如果它们是连续的并且位于文件顶部，则只需使用 read.csv 的 ,nrows 参数或任何 read.table 系列。如果没有，您可以组合 ,nrows 和 ,skip 参数来重复调用 read.csv （读取新行或一组新数据）每次调用的连续行），然后将结果rbind在一起。

Answer 3

如果您的文件具有固定的行长度，那么您可以使用“seek”跳转到任何字符位置。因此，只需针对您想要的每个 N 跳转到 N * line_length，然后读取一行。

但是，从 R 文档来看：

 Use of seek on Windows is discouraged.  We have found so many
 errors in the Windows implementation of file positioning that
 users are advised to use it only at their own risk, and asked not
 to waste the R developers' time with bug reports on Windows'
 deficiencies.

您还可以在 C 中使用标准 C 库中的“seek”，但我不知道上述警告是否也适用！

Answer 4

在我能够获得 R 解决方案/答案之前，我已经在 Ruby 中完成了它：

#!/usr/bin/env ruby

NUM_SEQS = 14024829

linenumbers = (1..10).collect{(rand * NUM_SEQS).to_i}

File.open("./data/uniprot_2011_02.tab") do |f|
  while line = f.gets
    print line if linenumbers.include? f.lineno 
  end
end

运行速度快（与我的存储读取文件的速度一样快）。

Answer 5

我根据讨论编译了一个解决方案 此处。

scan(filename,what=list(NULL),sep='\n',blank.lines.skip = F)

这只会显示行数，但不会读取任何内容。如果你确实想跳过空行，你可以将最后一个参数设置为 TRUE。