解析 BASH 中的日志文件以查找“错误”某些时间戳之间的条目

Question

我正在 BASH 中编写一个脚本，需要检查日志文件中是否有错误条目。我计划每小时将其作为 cron 运行，因此我只想让它仅返回过去一小时内发生的错误类型条目（所有服务器时间均为 GMT）。我建立以下变量

# Log file directory
LOGPATH="/path/to/logs/"
# Current date and time
CURDATE=`date +%Y-%m-%d`
CURTIME=`date +%H:%M:%S`
# Old date and time
OLDDATE=`date +%Y-%m-%d -d "1 hour ago"`
OLDTIME=`date +%H:%M:%S -d "1 hour ago"`

所有日志文件都遵循 ktYEAR-MONTH-DAY.root.log.txt 的文件名格式，其中 YEAR/MONTH/DAY 替换为记录条目的日期。例如，今天的日志文件将是 kt2011-08-15.root.log.txt。内容的一个示例条目是

2011-08-15 | 19:30:02 | ERROR | 18333 | 337 | n/a | dms | default | error | XMLRPC Lucene - addDocument - Reason: Failed to parse XML-RPC request: An invalid XML character (Unicode: 0xb) was found in the element content of the document.

感兴趣的列是第一、第二、第三（值可能是“INFO”、“DEBUG”等，但仅当“ERROR”是值时我感兴趣）和最后一列是日志消息的正文。

我想要完成的是让这个 BASH 脚本解析具有跨越最后一小时活动的条目的文件（如第一列和第二列中定义），并且如果第四列包含字符串“ERROR”，然后显示最右侧列的内容。当试图确定如何根据 $CURTIME 和 $OLDTIME 解析日志文件时，我感到困惑，当午夜到来时，情况会变得更糟，然后我有搜索前一天的日志文件。我不想对所有日志文件进行一揽子 grep 样式搜索，因为数量和大小可能过多，但如果必须这样做，那就这样吧。

Answer 1

 awk -F ' \\| ' -v "d=$(date -d "1 hour ago" -u +%Y-%m-%d@%H:%M:%S)" '$3 == "ERROR" && $1"@"$2 > d'

Answer 2

这就像在 awk 中进行字符串比较一样简单。当您经过午夜时，只需将 $OLDDATE 文件添加到搜索中即可：

if [ "$CURDATE" != "$OLDDATE" ]; then
   cat "kt$OLDDATE.root.log.txt" "kt$CURDATE.root.log.txt"
else
   cat "kt$CURDATE.root.log.txt"
fi | awk -F "|" -v olddate=$OLDDATE -v oldtime=$OLDTIME -v curdate=$CURDATE 'BEGIN{olddate=olddate " "; curdate = curdate " "; oldtime = " " oldtime " "}
$1 == olddate && $2 >= oldtime && $3 == " ERROR "{print $0}
$1 > olddate && $3 == " ERROR "{print $0}'

可以与 Glenn 的解决方案结合使用，从而变得更短。