有什么方法可以浏览大型日志文件吗？

Question

// Java 程序员，当我说方法时，我的意思是“做事的方式”...

大家好，

我正在编写一个日志挖掘器脚本来监视我公司的各种日志文件，它是用 Perl 编写的，尽管我有权访问Python，如果我真的需要的话，C（尽管我的公司不喜欢二进制文件）。它需要能够遍历过去 24 小时，获取日志代码并检查我们是否应该忽略或向适当的人（我）发送电子邮件。该脚本将作为 Solaris 服务器上的 cron 作业运行。现在这就是我的想法（这只是伪的......而且写得很糟糕）

main()
{
    $today = Get_Current_Date();
    $yesterday = Subtract_One_Day($today);
    `grep $yesterday '/path/to/log' > /tmp/log`    # Get logs from previous day
    `awk '{print $X}' > /tmp/log_codes`;           # Get Log Code
    SubRoutine_to_Compare_Log_Codes('/tmp/log_codes');
}

另一个​​想法是将日志文件加载到内存中并在那里读取它......这一切都很好，除了一个两个小问题。

1. 这些服务器是生产服务器，为数百万客户提供服务...
2. 日志文件平均为 3.3GB（大约两天的日志），

因此 grep 不仅需要一段时间来检查每个文件，而且会耗尽 CPU 和进程中的内存需要在其他地方使用。将 3.3GB 文件加载到内存中并不是最明智的想法。 （至少恕我直言）。现在我有一个疯狂的想法，涉及汇编代码和内存位置，但我不知道 SPARC 汇编是否可以刷新这个想法。

有人有什么建议吗？

感谢您阅读本文=）

Answer 1

可能的解决方案： 1）让系统在每个午夜启动一个新的日志文件——这样你就可以以降低的优先级挖掘前一天的有限大小的日志文件； 2) 修改日志系统，使其自动提取某些消息以进行进一步处理。