unix中sort命令的性能

Question

我正在为我的公司编写一个自定义 apache 日志解析器，我注意到一个我无法解释的性能问题。我有一个大小为 1.2GB 的文本文件 log.txt。

命令：sort log.txt 比命令：cat log.txt | 慢最多 3 秒 有人知道为什么

会发生这种情况吗？

Answer 1

cat 文件 | sort 是对 Cat 的无用使用。

cat的目的是连接
（或“连接”）文件。如果只是
一个文件，将其与
没有什么是浪费时间的，并且
花费你一个过程。

应该不会需要更长的时间。你确定你的时间安排正确吗？

请发布以下输出：

time sort file

并且

time cat file | sort

您需要运行命令几次并获取平均值。

Answer 2

您不必担心 sort 的性能，而是应该更改日志记录：

• 消除日志中不必要的详细输出。
• 定期滚动日志（基于日期或大小）。
• ...修复输出到日志的错误。 ;)

另外，您确定 cat 正在读取整个文件吗？它可能有一个读缓冲区等。