如何按时间聚合日志记录

Question

我有一个巨大的日志文件，其中包含以时间戳为前缀的日志消息。时间戳的精度为微秒。我想找到记录最多消息数的 10 秒时间窗口。你怎么能这么做呢？

Answer 1

您需要逐行读取文件，找出每个时间戳所在的 10 秒周期，并跟踪哪个时间戳范围具有最大的“成员”计数。

您没有指定哪种语言，所以我只使用伪代码：

1. 读取一行
2. 提取/将时间戳转换为 10 秒间隔数字，
3. 如果此时间戳超出前一个间隔的范围，“记住”该间隔的
   成员计数并启动新的间隔计数器
4. 如果前一个间隔的成员计数大于最后记录的最大间隔，则使前一个间隔成为新的“最大”间隔
5. 增加此新行的间隔计数器。
6. 重复直到文件被消耗
7. 掉记录的间隔数，该数将具有最大的成员数

Answer 2

您可以首先将日志文件聚合为一秒的间隔，然后在这些数字中找到最高权重的序列。