使用 AWK 和 BASH 将大型压缩文件拆分为多个输出

Question

我有一个大的（3GB）gzip 压缩文件，其中包含两个字段：NAME 和 STRING。我想将此文件拆分为更小的文件 - 如果字段一是 john_smith，我希望将该字符串放置在 john_smith.gz 中。注意：字符串字段可以并且确实包含特殊字符。

我可以使用 BASH 在域上的 for 循环中轻松完成此操作，但我更喜欢使用 AWK 一次读取文件的效率。

我尝试在 awk 中使用系统函数，并在字符串

zcat large_file.gz | 周围使用转义单引号。 awk '{system("echo -e '"'"'"$1"\t"$2"'"'"' | gzip >> "$1".gz");}'

并且它在大多数情况下都能完美运行行，但是其中一些被打印到 STDERR 并给出 shell 无法执行命令的错误（shell 认为字符串的一部分是命令）。看起来特殊字符可能会破坏它。

关于如何解决这个问题的任何想法，或者任何有帮助的替代实现？

谢谢！

-肖恩

Answer 1

您面临着时间与磁盘空间之间的巨大权衡。
我假设您试图通过将记录附加到 ${name}.gz 文件的末尾来节省空间。 @sehe 评论和代码绝对值得考虑。

无论如何，您的时间比 3 GB 磁盘空间更有价值。为什么不尝试

 zcat large_file.gz \
 | awk '-F\t' { 
    name=$1; string=$2; outFile=name".txt"
    print name "\t" string >> outFile
    # close( outFile) 
   }'

 echo *.txt | xargs gzip -9

您可能需要取消注释#close(outFile)。
包含 xargs 是因为我假设您将创建超过 1000 个文件名。即使您不这样做，使用该技术也不会有什么坏处。

请注意，此代码假定制表符分隔数据，根据需要更改 -F 的 arg 值，并更改打印语句中的“\t”以提供所需的字段分隔符。

没有时间测试这个。如果您喜欢这个想法但遇到困难，请发布小样本数据、预期输出以及您收到的错误消息。

我希望这有帮助。

Answer 2

这个小 Perl 脚本可以很好地

• 保持所有目标文件打开以提高性能，
• 执行错误基本处理
• Edit 现在还通过 gzip 即时通过管道输出

$fh 有点混乱，因为显然直接使用哈希条目是行不通的

#!/usr/bin/perl
use strict;
use warnings;

my $suffix = ".txt.gz";

my %pipes;
while (my ($id, $line) = split /\t/,(<>),2)
{
    exists $pipes{$id} 
        or open ($pipes{$id}, "|gzip -9 > '$id$suffix'") 
        or die "can't open/create $id$suffix, or cannot spawn gzip";

    my $fh = $pipes{$id};
    print $fh $line;
}

print STDERR "Created: " . join(', ', map { "$_$suffix" } keys %pipes) . "\n"

哦，像这样使用它

zcat input.gz | ./myscript.pl

Answer 3

创建这个程序，例如 largesplitter.c 并使用命令

zcat large_file.gz | largesplitter

未经修饰的程序是：

#include <errno.h>
#include <stdio.h>
#include <string.h>

int main (void)
{
        char    buf [32000];  // todo:  resize this if the second field is larger than 
        char    cmd [120];
        long    linenum = 0;
        while (fgets (buf, sizeof buf, stdin))
        {
                ++linenum;
                char *cp = strchr (buf, '\t');   // identify first field delimited by tab
                if (!cp)
                {
                        fprintf (stderr, "line %d missing delimiter\n", linenum);
                        continue;
                }
                *cp = '\000';  // split line
                FILE *out = fopen (buf, "w");
                if (!out)
                {
                        fprintf (stderr, "error creating '%s': %s\n", buf, strerror(errno));
                        continue;
                }
                fprintf (out, "%s", cp+1);
                fclose (out);
                snprintf (cmd, sizeof cmd, "gzip %s", buf);
                system (cmd);
        }
        return 0;
}

这在我的系统上编译没有错误，但我还没有测试它的功能。

Answer 4

也许可以尝试以下方法：

zcat large_file.gz | echo $("awk '{system("echo -e '"'"'"$1"\t"$2"'"'"' | gzip >> "$1".gz");}'")< /code>

我自己没有尝试过，因为我没有任何大文件可以玩。