按列的值将多行合并为单行

Question

我有一个非常大的制表符分隔文本文件。文件中的许多行对于文件中的一列具有相同的值。我想把它们放在同一行。例如：

a foo
a bar
a foo2
b bar
c bar2

运行脚本后，它应该变成：

a foo;bar;foo2
b bar
c bar2

如何在 shell 脚本或 Python 中执行此操作？

谢谢。

Answer 1

使用 awk，您可以尝试这个

{   a[$1] = a[$1] ";" $2 }
END { for (item in a ) print item, a[item] }

因此，如果您将此 awk 脚本保存在名为 awkf.awk 的文件中，并且如果您的输入文件是 ifile.txt，请运行该脚本

awk -f awkf.awk ifile.txt | sed 's/ ;/ /'

sed 脚本将删除前导 ;

希望这有帮助

Answer 2

from collections import defaultdict

items = defaultdict(list)
for line in open('sourcefile'):
    key, val = line.split('\t')
    items[key].append(val)

result = open('result', 'w')
for k in sorted(items):
    result.write('%s\t%s\n' % (k, ';'.join(items[k])))
result.close()  

未测试

Answer 3

使用 Python 2.7 测试：

import csv

data = {}

reader = csv.DictReader(open('infile','r'),fieldnames=['key','value'],delimiter='\t')
for row in reader:
    if row['key'] in data:
        data[row['key']].append(row['value'])
    else:
        data[row['key']] = [row['value']]

writer = open('outfile','w')
for key in data:
    writer.write(key + '\t' + ';'.join(data[key]) + '\n')
writer.close()

Answer 4

Perl 方法：

#!/usr/bin/perl 
use strict;
use warnings;
use Data::Dumper;

open my $fh, '<', 'path/to/file' or die "unable to open file:$!";
my %res;
while(<$fh>) {
    my ($k, $v) = split;
    push @{$res{$k}}, $v;
}
print Dumper \%res;

输出：

$VAR1 = {
      'c' => [
               'bar2'
             ],
      'a' => [
               'foo',
               'bar',
               'foo2'
             ],
      'b' => [
               'bar'
             ]
    };

Answer 5

#! /usr/bin/env perl

use strict;
use warnings;

# for demo only
*ARGV = *DATA;

my %record;
my @order;
while (<>) {
  chomp;
  my($key,$combine) = split;

  push @order, $key unless exists $record{$key};
  push @{ $record{$key} }, $combine;
}

print $_, "\t", join(";", @{ $record{$_} }), "\n" for @order;

__DATA__
a foo
a bar
a foo2
b bar
c bar2

输出（制表符转换为空格，因为 Stack Overflow 破坏了输出）：

a       foo;bar;foo2
b       bar
c       bar2

Answer 6

def compress(infilepath, outfilepath):
    input = open(infilepath, 'r')
    output = open(outfilepath, 'w')
    prev_index = None

    for line in input:
        index, val = line.split('\t')
        if index == prev_index:
            output.write(";%s" %val)
        else:
            output.write("\n%s %s" %(index, val))
    input.close()
    output.close()

未经测试，但应该可以。如有任何疑问，请发表评论