获取 bash 中列中唯一值的计数

Question

我有包含多列的制表符分隔文件。我想计算文件夹中所有文件的列中不同值的出现频率，并按计数降序对它们进行排序（首先是最高计数）。我如何在 Linux 命令行环境中完成此任务？

它可以使用任何常见的命令行语言，如 awk、perl、python 等。

Answer 1

要查看第二列的频率计数（例如）：

awk -F '\t' '{print $2}' * | sort | uniq -c | sort -nr

fileA.txt

z    z    a
a    b    c
w    d    e

fileB.txt

t    r    e
z    d    a
a    g    c

fileC.txt

z    r    a
v    d    c
a    m    c

结果：

  3 d
  2 r
  1 z
  1 m
  1 g
  1 b

Answer 2

这是在 shell 中执行此操作的一种方法：

FIELD=2
cut -f $FIELD * | sort| uniq -c |sort -nr

这正是 bash 所擅长的事情。

Answer 3

GNU 站点 建议使用这个不错的 awk 脚本，它打印单词及其频率。

可能的更改：

• 您可以通过 sort -nr（以及反向 word 和 freq[word]）进行管道传输，以降序查看结果。
• 如果您想要特定的列，可以省略 for 循环，只需编写 freq[3]++ - 将 3 替换为列号。

这里是：

 # wordfreq.awk --- print list of word frequencies
 
 {
     $0 = tolower($0)    # remove case distinctions
     # remove punctuation
     gsub(/[^[:alnum:]_[:blank:]]/, "", $0)
     for (i = 1; i <= NF; i++)
         freq[$i]++
 }
 
 END {
     for (word in freq)
         printf "%s\t%d\n", word, freq[word]
 }

Answer 4

Perl

此代码计算所有列的出现次数，并为每个列打印排序报告：

# columnvalues.pl
while (<>) {
    @Fields = split /\s+/;
    for $i ( 0 .. $#Fields ) {
        $result[$i]{$Fields[$i]}++
    };
}
for $j ( 0 .. $#result ) {
    print "column $j:\n";
    @values = keys %{$result[$j]};
    @sorted = sort { $result[$j]{$b} <=> $result[$j]{$a}  ||  $a cmp $b } @values;
    for $k ( @sorted ) {
        print " $k $result[$j]{$k}\n"
    }
}

将文本保存为columnvalues.pl
运行它：perl columnvalues.pl files*

解释

在顶级 while 循环中：
* 循环组合输入文件的每一行
* 将行分割成@Fields数组
* 对于每一列，递增结果哈希数组数据结构

在顶级 for 循环中：
* 循环结果数组
* 打印列号
* 获取该列中使用的值
* 按出现次数对值进行排序
* 根据值进行二次排序（例如 b、g、m、z）
* 使用排序列表迭代结果哈希
* 打印每次出现的值和数量

结果基于 @Dennis 提供的示例输入文件

column 0:
 a 3
 z 3
 t 1
 v 1
 w 1
column 1:
 d 3
 r 2
 b 1
 g 1
 m 1
 z 1
column 2:
 c 4
 a 3
 e 2

.csv 输入

如果您的输入文件是 .csv，请将 /\s+/ 更改为 /,/

混淆

在一场丑陋的竞赛中，Perl 的装备特别好。
这个单行代码做了同样的事情：

perl -lane 'for $i (0..$#F){$g[$i]{$F[$i]}++};END{for $j (0..$#g){print "$j:";for $k (sort{$g[$j]{$b}<=>$g[$j]{$a}||$a cmp $b} keys %{$g[$j]}){print " $k $g[$j]{$k}"}}}' files*

Answer 5

红宝石(1.9+)

#!/usr/bin/env ruby
Dir["*"].each do |file|
    h=Hash.new(0)
    open(file).each do |row|
        row.chomp.split("\t").each do |w|
            h[ w ] += 1
        end
    end
    h.sort{|a,b| b[1]<=>a[1] }.each{|x,y| print "#{x}:#{y}\n" }
end

Answer 6

这是一个接近线性时间的棘手方法（但可能不会更快！），方法是避免 sort 和 uniq（最终排序除外）。它基于... tee 和 wc！

$ FIELD=2
$ values="$(cut -f $FIELD *)"
$ mkdir /tmp/counts
$ cd /tmp/counts
$ echo | tee -a $values
$ wc -l * | sort -nr
9 total
3 d
2 r
1 z
1 m
1 g
1 b
$

Answer 7

Pure-Bash 版本：

FIELD=1
declare -A results
while read -a line; do
    results[${line[$FIELD]:-(empty)}]=$((results[${line[$FIELD]:-(empty)}]+1));
done < file.txt
echo ${results[@]@A}

关键逻辑是填充一个关联数组，其中键是在文件中找到的值，数组的值是出现的次数：

• $FIELD 是选定的列号
• ${line[$FIELD]} 是文件中该行的列值
• ${...:-(empty)} 是空值的特殊情况（会发生什么如果列数少于预期？）

要以预期的 OP 格式对输出进行排序，需要做更多的工作：

sort -rn < <(
    for k in "${!results[@]}"; do
        echo "${results[$k]} $k";
    done
)

警告：它适用于制表符分隔和空格分隔的文件，但是对于其中包含空格的值效果不佳。