将文件内容发送到管道并一步计算 # 行的 Pythonic 方式

Question

给定 > 4gb 文件 myfile.gz，我需要将其 zcat 到管道中以供 Teradata 的快速加载使用。我还需要计算文件中的行数。理想情况下，我只想对文件进行一次遍历。我使用 awk 将整行 ($0) 输出到 stdout，并通过使用 awk 的 END 子句，将行数（awk 的 NR 变量）写入另一个文件描述符 (outfile)。

我已经设法使用 awk 做到这一点，但我想知道是否存在更Pythonic 的方法。

#!/usr/bin/env python
from subprocess import Popen, PIPE
from os import path

the_file = "/path/to/file/myfile.gz"

outfile = "/tmp/%s.count" % path.basename(the_file)
cmd = ["-c",'zcat %s | awk \'{print $0} END {print NR > "%s"} \' ' % (the_file, outfile)]
zcat_proc = Popen(cmd, stdout = PIPE, shell=True)

该管道随后被对 teradata 的 fastload 的调用所消耗，该调用从

"/dev/fd/" + str(zcat_proc.stdout.fileno())

This Works 中读取，但我想知道是否可以跳过 awk 并更好地利用 python。我也愿意接受其他方法。我有多个大文件需要以这种方式处理。

Answer 1

不需要 zcat 或 Awk。计算 gzip 压缩文件中的行数可以通过以下方式完成：

import gzip

nlines = sum(1 for ln in gzip.open("/path/to/file/myfile.gz"))

如果您想对行执行其他操作，例如将它们传递到不同的进程，请执行

nlines = 0
for ln in gzip.open("/path/to/file/myfile.gz"):
    nlines += 1
    # pass the line to the other process

Answer 2

使用 Python 及其标准库可以轻松完成行计数和解压缩 gzip 压缩文件。您可以一次性完成所有操作：

import gzip, subprocess, os
fifo_path = "path/to/fastload-fifo"
os.mkfifo(fifo_path)
fastload_fifo = open(fifo_path)
fastload = subprocess.Popen(["fastload", "--read-from", fifo_path],
                            stdin=subprocess.PIPE)
with gzip.open("/path/to/file/myfile.gz") as f:
    for i, line in enumerate(f):
         fastload_fifo.write(line)
    print "Number of lines", i + 1
os.unlink(fifo_path)

我不知道如何调用 Fastload - 在调用中替换正确的参数。

Answer 3

这可以通过一行简单的 bash 完成：

zcat myfile.gz | tee >(wc -l >&2) | fastload

这将在 stderr 上打印行数。如果您想要它在其他地方，您可以根据需要重定向 wc 输出。

Answer 4

实际上，根本不可能将数据通过管道传输到 Fastload，因此如果有人可以在这里发布一个确切的示例，那就太好了。

来自有关 Fastload 配置的 Teradata 文档 http://www.info.teradata.com/htmlpubs/DB_TTU_14_00/index.html#page/Load_and_Unload_Utilities/B035_2411_071A/2411Ch03.026.028.html#ww1938556

FILE=文件名
指定包含输入数据的数据源名称的关键字短语。 fileid 必须引用常规文件。 具体来说，不支持管道。