如何在 Unix 中删除文件中的重复行而不对其进行排序

Question

有没有办法删除 Unix 中文件中的重复行？

我可以使用 sort -u 和 uniq 命令来完成此操作，但我想使用 sed 或 awk。

这可能吗？

Answer 1

awk '!seen[$0]++' file.txt

seen 是一个关联数组，AWK 将向其传递文件的每一行。如果数组中没有某行，则 seen[$0] 将计算为 false。 ! 是逻辑 NOT 运算符，会将 false 反转为 true。 AWK 将打印表达式计算结果为 true 的行。

++ 递增 seen，以便在第一次找到一行后 seen[$0] == 1 然后 seen[ $0] == 2，依此类推。
AWK 将除 0 和 ""（空字符串）之外的所有内容评估为 true。如果将重复行放入 seen 中，则 !seen[$0] 的计算结果将为 false，并且该行不会写入输出。

Answer 2

来自 http://sed.sourceforge.net/sed1line.txt：
（请不要问我这是如何工作的;-)）

 # delete duplicate, consecutive lines from a file (emulates "uniq").
 # First line in a set of duplicate lines is kept, rest are deleted.
 sed '$!N; /^\(.*\)\n\1$/!P; D'

 # delete duplicate, nonconsecutive lines from a file. Beware not to
 # overflow the buffer size of the hold space, or else use GNU sed.
 sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'

Answer 3

Perl 单行类似于 jonas 的 AWK 解决方案：

perl -ne 'print if ! $x{$_}++' file

此变体在比较之前删除尾随空格：

perl -lne 's/\s*$//; print if ! $x{$_}++' file

此变体就地编辑文件：

perl -i -ne 'print if ! $x{$_}++' file

此变体就地编辑文件，并制作备份 file.bak< /代码>：

perl -i.bak -ne 'print if ! $x{$_}++' file

Answer 4

使用 Vim（Vi 兼容）的另一种方法：

从文件中删除重复的连续行：

vim -esu NONE +'g/\v^(.*)\n\1$/ d' +wq

从文件中删除重复的、不连续的和非空的行：

vim -esu NONE +'g/\v^(.+)$\_.{-}^\1$/d '+wq

Answer 5

Andre Miller 发布了 的工作，除了最新版本的 sed，输入文件以空行结尾且没有字符时。在我的 Mac 上，我的 CPU 只是旋转。

如果最后一行为空且没有任何字符，则这是一个无限循环：

sed '$!N; /^\(.*\)\n\1$/!P; D'

它不会挂起，但你会丢失最后一行：

sed '$d;N; /^\(.*\)\n\1$/!P; D'

解释位于 sed FAQ：

GNU sed 维护者认为尽管存在可移植性问题
这会导致将 N 命令更改为打印（而不是
删除）模式空间更符合直觉
关于“附加下一行”的命令应该如何表现。
支持更改的另一个事实是“{N;command;}”将
如果文件有奇数行，则删除最后一行，但是
如果文件有偶数行，则打印最后一行。

转换使用 N 以前行为的脚本（删除
到达 EOF 时的模式空间）到与
兼容的脚本
所有版本的 sed，更改一个单独的“N;”到“$d;N;”。

Answer 6

第一个解决方案也来自 http://sed.sourceforge.net/sed1line.txt

$ echo -e '1\n2\n2\n3\n3\n3\n4\n4\n4\n4\n5' |sed -nr '$!N;/^(.*)\n\1$/!P;D'
1
2
3
4
5

核心思想是：

在每个重复的连续行的最后出现处仅打印一次，并使用D命令实现循环。

说明：

1. $!N;：如果当前行不是最后一行，则使用N命令将下一行读入< em>模式空间。
2. /^(.*)\n\1$/!P：如果当前模式空间的内容是两个重复字符串 \n，表示下一行与当前行相同，根据我们的核心思想，我们可以不打印；否则，这意味着当前行是其所有重复连续行的最后出现。我们现在可以使用 P 命令打印当前模式空间中的字符，直到 \n (\n也打印）。
3. D：我们使用D命令删除当前模式空间中的字符，直到\n（\n 也删除），然后模式空间的内容就是下一行。
4. 并且 D 命令将强制 sed 跳转到其第一个命令 $!N，但不会 从文件或标准输入流中读取下一行。

第二种解决方案很容易理解（来自我自己）：

$ echo -e '1\n2\n2\n3\n3\n3\n4\n4\n4\n4\n5' |sed -nr 'p;:loop;$!N;s/^(.*)\n\1$/\1/;tloop;D'
1
2
3
4
5

核心思想是：

在每个重复的连续行第一次出现时仅打印一次，并使用:命令和t执行LOOP的命令。

说明：

1. 从输入流或文件中读取新行并打印一次。
2. 使用:loop命令设置一个名为loop的标签。
3. 使用N 将下一行读入模式空间。
4. 如果下一行与当前行相同，则使用 s/^(.*)\n\1$/\1/ 删除当前行。我们使用s命令来执行删除操作。
5. 如果s命令执行成功，则使用tloop命令强制sed跳转到名为标签 循环，它将对下一行执行相同的循环，直到最新打印的行没有重复的连续行；否则，使用D命令删除与最新打印行相同的行，并强制sed 跳转到第一个命令，即 p 命令。当前模式空间的内容是下一个新行。

Answer 7

uniq 会被尾随空格和制表符所欺骗。为了模仿人类如何进行比较，我在比较之前修剪所有尾随空格和制表符。

我认为 $!N; 需要大括号，否则它会继续，这就是无限循环的原因。

我在 Ubuntu 20.10 (Groovy大猩猩）。第二行在字符集匹配时不起作用。

这是三个变体。第一个是消除相邻的重复行，第二个是消除重复行（无论它们出现在何处），第三个是消除文件中除最后一个实例之外的所有行。

pastebin

# First line in a set of duplicate lines is kept, rest are deleted.
# Emulate human eyes on trailing spaces and tabs by trimming those.
# Use after norepeat() to dedupe blank lines.

dedupe() {
 sed -E '
  $!{
   N;
   s/[ \t]+$//;
   /^(.*)\n\1$/!P;
   D;
  }
 ';
}

# Delete duplicate, nonconsecutive lines from a file. Ignore blank
# lines. Trailing spaces and tabs are trimmed to humanize comparisons
# squeeze blank lines to one

norepeat() {
 sed -n -E '
  s/[ \t]+$//;
  G;
  /^(\n){2,}/d;
  /^([^\n]+).*\n\1(\n|$)/d;
  h;
  P;
  ';
}

lastrepeat() {
 sed -n -E '
  s/[ \t]+$//;
  /^$/{
   H;
   d;
  };
  G;
  # delete previous repeated line if found
  s/^([^\n]+)(.*)(\n\1(\n.*|$))/\1\2\4/;
  # after searching for previous repeat, move tested last line to end
  s/^([^\n]+)(\n)(.*)/\3\2\1/;
  $!{
   h;
   d;
  };
  # squeeze blank lines to one
  s/(\n){3,}/\n\n/g;
  s/^\n//;
  p;
 ';
}

Answer 8

这可以使用 AWK 来实现。

下面的行将显示唯一值：

awk file_name | uniq

您可以将这些唯一值输出到新文件：

awk file_name | uniq > uniq_file_name

新文件 uniq_file_name 将仅包含唯一值，没有任何重复项。

Answer 9

用途：

cat filename | sort | uniq -c | awk -F" " '$1<2 {print $2}'

使用AWK删除重复行。