当前位置：文江博客话题详情

对包含大量不同 IP 的文件中的唯一 IP 进行排序和显示

发布于 2025-01-10 15:02:04 字数 164 浏览 0 评论 0原文

我有一个包含很多行的文件，格式如下。

第一列是 IP，IP 可以重复。其他列不必排序。如果第一列只是一个数字，我可以使用“sort -u k1,1”。但是，在这种情况下，IP 有 4 个数字。您能否帮忙按 IP 顺序对行进行排序，并删除重复项，仅列出具有唯一 IP 的行？

先感谢您！

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

望喜 2025-01-17 15:02:04

假设包含数据的文件名为 data.txt，您可以执行以下操作：

awk '{print $1}' data.txt | sort | uniq

awk 仅保留第一列，即 IP 地址
sort：对 IP 进行排序
uniq：删除重复项

如果您需要知道每个IP在文件中出现的次数，可以在uniq中添加选项-c。

Lets say your file containing the data is called data.txt, you can do:

awk '{print $1}' data.txt | sort | uniq

awk keeps only the first column, the IP addresses
sort: sort the IPs
uniq: remove duplicates

If you need to know how many times each IP appears in the file, you can add option -c to uniq.

回复收藏 0 原文

我为君王 2025-01-17 15:02:04

这应该可以对每一列单独进行排序并使用数字顺序：

awk '{print $1}' file.txt | sort -ut . -k1,1n -k2,2n -k 3,3n -k 4,4n

This should work sorting each column individually and using number order:

awk '{print $1}' file.txt | sort -ut . -k1,1n -k2,2n -k 3,3n -k 4,4n

回复收藏 0 原文

流殇 2025-01-17 15:02:04

假设您想要做的是根据 IP 地址进行排序，同时仅根据 IP 地址删除重复行，则以下排序和遍历排序文件以删除重复项的代码应该可以工作：

#!/bin/bash
originalFile=/path/to/original/file
outputFile=/path/to/intermediate/file
cleanFile=/path/to/final/file
sort $originalFile > $outputFile
lastIP=""
while read -r line; do
  words=("${line// / }")
  if [ "${words[0]}" != "$lastIP" ]
  then
    printf "%s\n" "$line" >> $cleanFile
  fi
  lastIP="${words[0]}"
done < $outputFile

Assuming what you want to do is sort based on IP addresses while removing duplicate lines only based on the IP address, below code of sorting and traversing the sorted file to remove duplicates should work:

#!/bin/bash
originalFile=/path/to/original/file
outputFile=/path/to/intermediate/file
cleanFile=/path/to/final/file
sort $originalFile > $outputFile
lastIP=""
while read -r line; do
  words=("${line// / }")
  if [ "${words[0]}" != "$lastIP" ]
  then
    printf "%s\n" "$line" >> $cleanFile
  fi
  lastIP="${words[0]}"
done < $outputFile

回复收藏 0 原文

~没有更多了~