从 UNIX shell 脚本中的列表中选择唯一或不同的值

Question

我有一个 ksh 脚本，它返回一长串值，以换行符分隔，并且我只想查看唯一/不同的值。 有可能这样做吗？

例如，假设我的输出是目录中的文件后缀：

<前><代码>焦油 广州 爪哇 广州 爪哇 柏油 班级 班级

我想看到这样的列表：

<前><代码>焦油 广州 爪哇 班级

Answer 1

您可能想查看 uniq 和 sort 应用程序。

./yourscript.ksh | sort | uniq

（仅供参考，是的，在此命令行中进行排序是必要的，uniq 仅删除紧随其后的重复行）

编辑：

与 < 发布的内容相反a href="https://stackoverflow.com/questions/618378/select-unique-or-distinct-values-from-a-list-in-unix-shell-script/618382#618382">亚伦·迪古拉 与 uniq 的命令行选项相关：

给定以下输入：

class
jar
jar
jar
bin
bin
java

uniq 将输出所有行一次：

class
jar
bin
java

uniq -d 将输出所有行出现多次的行，它将打印一次：

jar
bin

uniq -u 将输出所有只出现一次的行，并将打印一次：

class
java

Answer 2

./script.sh | sort -u

这与一氧化碳答案，但更简洁一点。

Answer 3

使用 zsh 你可以这样做：

% cat infile 
tar
more than one word
gz
java
gz
java
tar
class
class
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}"
tar
more than one word
gz
java
class

或者你可以使用 AWK：

% awk '!_[$0]++' infile    
tar
more than one word
gz
java
class

Answer 4

使用 AWK 你可以做到：

 ./yourscript.ksh | awk '!a[$0]++'

我发现它比 sort 和 uniq 更快

Answer 5

通过 sort 和 uniq 对它们进行管道传输。 这会删除所有重复项。

uniq -d 仅给出重复项，uniq -u 仅给出唯一项（去除重复项）。

Answer 6

对于可能不需要排序的较大数据集，您还可以使用以下 perl 脚本：

./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }'

这基本上只是记住每一行输出，以便它不会再次输出。

与“sort | uniq”解决方案相比，它的优势在于无需预先进行排序。

Answer 7

根据要求，唯一（但未排序）；
使用更少的系统资源来处理少于约 70 个元素（经时间测试）；
编写为从标准输入获取输入，
（或修改并包含在另一个脚本中）：
（重击）

bag2set () {
    # Reduce a_bag to a_set.
    local -i i j n=${#a_bag[@]}
    for ((i=0; i < n; i++)); do
        if [[ -n ${a_bag[i]} ]]; then
            a_set[i]=${a_bag[i]}
            a_bag[i]=
\0'
            for ((j=i+1; j < n; j++)); do
                [[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=
\0'
            done
        fi
    done
}
declare -a a_bag=() a_set=()
stdin="$(</dev/stdin)"
declare -i i=0
for e in $stdin; do
    a_bag[i]=$e
    i=$i+1
done
bag2set
echo "${a_set[@]}"

Answer 8

我得到了更好的提示来获取文件中的非重复条目

awk '$0 != x ":FOO" && NR>1 {print x} {x=$0} END {print}' file_name | uniq -f1 -u