从文件中提取特定的行集

Question

我有许多大型（每份约 30 MB）制表符分隔的文本文件，其中行的宽度可变。我想从第 n 行（此处，n=4）和倒数第二行（最后一行为空）中提取第二个字段。我可以使用 awk: and 分别获取它们

awk 'NR==4{print $2}' filename.dat

（我不完全理解这一点，但是）

awk '{y=x "\n" $2};END{print y}' filename.dat

但是有没有一种方法可以在一次调用中将它们组合在一起？我更广泛的意图是将其包装在 Python 脚本中，以从单独目录中的大量文件（数千个）中获取这些值，并且我希望减少系统调用的数量。非常感谢 -

编辑：我知道我可以使用 Python 读取整个文件来提取这些值，但认为 awk 可能更适合该任务（与位于的两个值之一有关）靠近大文件的末尾）。

Answer 1

awk 'NR==4{print $2};{y=x "\n" $2};END{print y}' filename.dat

Answer 2

您可以将行数传递给 awk：

awk -v lines=$( wc -l < filename.dat ) -v n=4 '
    NR == n || NR == lines-1 {print $2}
' filename.dat

注意，在 wc 命令中，使用 < 重定向以避免打印文件名。

Answer 3

以下是如何在 Python 中实现此功能，而无需读取整个文件。

要获取第 n 行，您别无选择，只能读取文件直至第 n 行，因为这些行的宽度是可变的。

要获取倒数第二行，请猜测该行可能有多长（慷慨一点）并在文件末尾之前查找那么多字节。

read() 从您想要的位置开始。计算换行符的数量 - 您至少需要两个。如果少于 2 个换行符，则将您的猜测加倍，并再次尝试

拆分您在换行符处读取的数据 - 您查找的行将是拆分中倒数第二个项目

Answer 4

这是我的Python解决方案。受到此其他代码的启发：

def readfields(filename,nfromtop=3,nfrombottom=-2,fieldnum=1,blocksize=4096):
    f = open(filename,'r')
    out = ''
    for i,line in enumerate(f):
        if i==nfromtop:
            out += line.split('\t')[fieldnum]+'\t'
            break
    f.seek(-blocksize,2)
    out += str.split(f.read(blocksize),'\n')[nfrombottom].split('\t')[fieldnum]
    return out

当我分析时它比调用 awk (awk 'NR==4{print $2};{y=x $2};END{print y}' filename.dat) 的解决方案快 0.09 秒子流程模块。这不是一个破坏性的事情，但是当脚本的其余部分是用 Python 编写时，似乎有一个回报（特别是因为我有很多这样的文件）。