LInux 排序/uniq apache 日志

Question

我有小文件（100）行网络请求（apache std 格式），有来自客户端的多个请求。我只想在我的文件中包含来自唯一 IP 的请求（行）列表，并且是

迄今为止我拥有的 最新条目 /home/$: cat all.txt | awk '{ 打印 $1}' |排序 -u | “{打印整行??}”

上面给了我IP（大约30，这是正确的）现在我还需要该行的其余部分（请求）。

Answer 1

使用关联数组来跟踪您已经找到的 IP：

awk '{  
  if (!found[$1]) {
    print;
    found[$1]=1;
  }
}' all.txt

这将打印每个 IP 的第一行。如果你想要最后一个，那么：

awk '
     { found[$1] = $0 }
     END {
       for (ip in found)
         print found[ip]
     }
' all.txt

Answer 2

我讨厌 unique 没有提供与 sort 相同的选项，或者 sort 不能做到它所说的，我认为这应该工作[1]，

tac access.log | sort -fb -k1V -u

但可惜，它没有；

因此，我们似乎陷入了做一些愚蠢的事情，

cat all.txt | awk '{ print $1}' | sort -u | while read ip
do
    tac all.txt | grep "^$ip" -h | head -1
done

Which确实效率低下，但是“有效”（尚未测试过：模块拼写错误） [1]

比如根据手册页，

Answer 3

以下应该可行：

tac access.log | sort -f -k1,1 -us

这以相反的顺序获取文件并使用第一个字段进行稳定排序，仅保留唯一的项目。