Perl - 查找文件或数组中的重复行

Question

我正在尝试从文件句柄中打印重复的行，而不是删除它们或我在其他问题上看到的任何其他内容。我没有足够的 perl 经验，无法快速做到这一点，所以我在这里问。有什么方法可以做到这一点？

Answer 1

使用标准 Perl 速记法：

my %seen;
while ( <> ) { 
    print if $seen{$_}++;
}

作为“一句话”：

perl -ne 'print if $seen{$_}++'

更多数据？这会打印 :::

perl -ne 'print ( $ARGV eq "-" ? "" : "$ARGV:" ), "$.:$_" if $seen{$_}++'

Explanation of %seen:

• %seen 声明一个哈希。对于输入中的每个唯一行（在本例中来自 while(<>)）$seen{$_}在散列中将有一个由该行文本命名的标量槽（这就是 $_ 在 has {} 大括号中所做的事情）。
• 使用后缀增量运算符 (x++)，我们获取表达式的值，并记住在表达式之后递增它。因此，如果我们没有“看到”行 $seen{$_} 是未定义的 - 但当强制进入这样的数字“上下文”时，它会被视为 0 - 并且 假。
• 然后它增加到 1。

因此，当 while 开始运行时，所有行都是“零”（如果有帮助，您可以将这些行视为“not %seen ") 然后，当我们第一次看到一行时，perl 会采用未定义的值 - 这会使 if 失败 - 并将标量槽处的计数增加到 1。因此，对于任何未来发生的情况，它都为 1，此时它通过 if 条件并打印。

现在，正如我上面所说，%seen 声明了一个哈希，但在关闭 strict 的情况下，可以当场创建任何变量表达式。因此，当 Perl 第一次看到 $seen{$_} 时，它知道我正在寻找 %seen，但它没有它，因此它创建了它。

一个额外的好处是，最后，如果您愿意使用它，您可以计算每行重复的次数。

Answer 2

试试这个

#!/usr/bin/perl -w
use strict;
use warnings;

my %duplicates;
while (<DATA>) {
    print if !defined $duplicates{$_};
    $duplicates{$_}++;
}

Answer 3

仅打印一次重复内容：

perl -ne "print if $seen{$_}++ == 1"

Answer 4

如果你有一个类 Unix 系统，你可以使用 uniq:

uniq -d foo

或者

uniq -D foo

应该做你想做的。更多信息：man uniq。