如何在Python中从gzip压缩文件中获取随机行而不将其读入内存

Question

假设我有一个 531 gig 的 gzip 文本文件，其中有 512 548 457 601 475 行，由 '\n' 分割，并且希望在不进行文件分割的情况下从中获取随机行。 （别担心，它并不是真的那么大；只是想说明它是一个巨大的文件，并且我知道它有多少行。）

我通常如何使用较小的压缩文件来做到这一点：

import fileinput
import gzip
import random

list = []

for line in fileinput.input(file, openhook=gzip.open):
    list.append(line)

listLength = len(list)
randomListLineOne = line[random.randint(0, listLength)]
randomListLineTwo = line[random.randint(0, listLength)]
...

我在主题：

如何随机读取一个文件中的行python？

import random

def random_line(afile):
    line = next(afile)
    for num, aline in enumerate(afile):
      if random.randrange(num + 2): continue
      line = aline
    return line

Waterman 的“Reservoir Algorithm”，由 Alex Martelli 翻译自 Knuth 的“计算机编程的艺术”

您能将其改编为压缩文件吗？我尝试将压缩文件设置为文件，但这不起作用。 或者还有另一种（更简单的）方法来实现这一目标？

Answer 1

蒙特卡洛

作为 阅读逐行文件*

（*使用 David Robinson 的方法将 gzip 文件作为标准文件读取）：

如果所有行的大小大致相同，您可以跳转到文件中的随机位置，回溯字符按字符排列，直到到达换行并从该点读取整行。如果线条的尺寸完全相同，则此方法是准确的。

然而，如果线条的大小不同，但您知道长度为 x 的线条的分布 - 您可以执行上述方法，但拒绝过多的 < code>x 的概率为 P(x)，这样抓取文件中随机行的概率是恒定的。

示例：

为了简单起见，假设您有一个 5 行文件，长度为 X={2,3,5,5,5}。在文件中选择一个随机点，您有 10% (2/(2+3+5+5+5)) 的机会获得 x1，15% 的机会获得 x2，x3 的几率为 50%。您想要的概率分别是 20%/20%/60%。我们各自的权重是W=(3/2, 1, 6/5)，这些数字使得x1*w1 = 20%，x2*w2 = 20%，x3*w3=60%。归一化因子是这些权重的总和 Z = w1+w2+w3 = 37/10。从这里我们知道每条线的概率：

 P(w1) = w1/Z = 30/68
 P(w2) = w2/Z = 20/68
 P(w3) = w3/Z = 18/68

请注意，P(w1)+P(w2)+3*P(w3)=1，正如它应该的那样。

对于您的算法，请在文件中选择一个随机点。如果关联线的长度为 2，请在 q=[0,1] 之间选择一个随机数。如果q>(30/68)拒绝该点并重试。如果小于则停止并返回该行。

你什么时候知道X(w)？

我承认，知道行长度的确切分布似乎是有限制的，但是有许多程序生成的文件（日志文件、硬件数据读数等），其中分布是准确已知的。此外，如果仅近似知道分布，我们可以使用上述方法来确定样本拒绝标准作为最佳猜测，并从那里开始。

蒙特卡罗？

这可能不是最好的方法（谁能与 Knuth 竞争？），但它可能提供一些以完全不同的方式解决问题的见解。对于那些不熟悉的人来说，上面的方法是重要性采样的一种形式，一种蒙特卡罗方法。

如何在 gzip 文件中查找？

根据 OP 的要求，这里是通过 Python 文件对象查找的入门知识。

import gzip, random

# Helper function to create some test data
def line(char,n): 
    return ''.join([("%s"%char)*n,"\n"])

# Create the test data as in the example
filename = "test.zip"
FOUT = gzip.open(filename,'wb')
FOUT.write(line('a',2))
FOUT.write(line('b',3))
FOUT.write(line('c',5))
FOUT.write(line('d',5))
FOUT.write(line('e',5))
FOUT.close()

# Since we know the distribution, we know the length
length = 2+3+3*5+5 # 5 newlines

# Print 7 random points in the file
FIN = gzip.open(filename,'rb')
for n in xrange(7):
    FIN.seek(random.randrange(length),0)
    print "Position %3i, char: %s" %(FIN.tell(), [FIN.read(1)])

示例运行的输出如下：

Position   8, char: ['c']
Position  23, char: ['e']
Position  15, char: ['d']
Position  10, char: ['c']
Position   4, char: ['b']
Position  16, char: ['d']
Position   2, char: ['\n']

Answer 2

您可以简单地使用“从 Python 中的一个文件中读取随机行”方法，但使用 gzip 包。

import gzip
import random

def random_line(afile):
    line = next(afile)
    for num, aline in enumerate(afile):
        if random.randrange(num + 2): continue
        line = aline
    return line

afile = gzip.open("myfile.zip")
print random_line(afile)
afile.close()

Answer 3

请原谅（非常）迟到的答案，但如果您从 gunzip -l 知道文件的大小，则可以使用 seek() 方法在文件中定位。< br>
然后，丢弃下一次读取，因为它可能是部分行，并使用后续读取作为随机数据。

从 gzip 压缩的文本文件中随机打印 10 行。

import random
import gzip, os
f = gzip.open("some.txt.gz","r")
unc_size = os.popen('gunzip -lq some.txt.gz').read()
unc_size = unc_size.strip().split(" ",1)
unc_size = unc_size[1].strip().split(" ",1)
for x in range(1,11):
    f.seek(random.randint(0,int(unc_size[0])))
    dump = next(f)
    print "Random line from byte pos ",f.tell(), next(f)
f.close()