python读取大数据的不同方式

Question

我正在处理大数据，因此找到一种读取数据的好方法非常重要。 我只是对不同的阅读方法有点困惑。

1.f=gzip.open(file,'r')
      for line in f:
          process line
     #how can I process nth line? can I?
2.f=gzip.open(file,'r').readlines()
  #f is a list
  f[10000]
  #we can process nth line

3.f=gzip.open(file,'r')
  while True:
       linelist=list(islice(f,4))

4.for line in fileinput.input():
  process line

2 和 3 有什么区别？我只是发现他们的内存使用量是相同的。 islice() 还需要首先将整个文件加载到内存中（但稍后会一点一点地加载）。 而且我听说第四种方法是最不消耗内存的，它确实是一点一点地处理，对吗？ 对于 10GB 规模的文件，您会推荐哪种文件读取方法？欢迎任何想法/信息。 谢谢

编辑：我认为我的问题之一是我有时需要随机挑选特定的行。 说：

f1=open(inputfile1, 'r')
while True:
    line_group1 = list(islice(f1, 3))
    if not line_group1:
        break
    #then process specific lines say, the second line.
    processed 2nd line
    if ( ....):
           LIST1.append(line_group1[0])
           LIST1.append(processed 2nd line)
           LIST1.append(line_group1[2])

然后……就像

with open(file,'r') as f,
    for line in f:
       # process line

可能行不通，我是对的吗？

Answer 1

您忘记了 -

with open(...) as f:
    for line in f:
        <do something with line>

with 语句处理打开和关闭文件，包括内部块中是否引发异常。 for line in f 将文件对象 f 视为可迭代对象，它会自动使用缓冲 IO 和内存管理，因此您不必担心大文件。

不建议使用 2,3 来读取大文件，因为它们会读取和读取大文件。在处理开始之前将整个文件内容加载到内存中。要读取大文件，您需要找到不一次性读取整个文件的方法。

应该有一种（最好只有一种）明显的方法来做到这一点。

Answer 2

查看 David M. Beazley 关于使用生成器解析大型日志文件的演讲（请参阅 pdf 演示文稿）：

http:// /www.dabeaz.com/generators/

Answer 3

您可以在迭代某些内容时使用 enumerate 来获取索引：

for idx, line in enumerate(f):
    # process line

简单且内存高效。实际上，您也可以使用 islice，并对其进行迭代，而无需先转换为列表：

for line in islice(f,start,stop):
    # process line

这两种方法都不会将整个文件读入内存，也不会创建中间列表。

至于fileinput，它只是一个用于快速循环标准输入或文件列表的辅助类，使用它并没有内存效率上的好处。

正如 Srikar 指出的那样，使用 with 语句是打开/关闭文件的首选方式。

Answer 4

你不知道有多少行，直到你阅读并数出其中有多少个 \n 。
在1中，您可以添加一个枚举来获取行号。

Answer 5

要读取大文件中的特定行，您可以使用 linecache 库。