使用正则表达式和 grep 获取日志文件中模式的所有唯一实例

Question

我需要从服务器的访问日志中获取正在访问服务器的唯一客户端计算机名称/IP 地址的列表。

目标日志行如下所示：

2020-11-17 15:34:04.208 -0500 Information 94  XYZ-ASDF-FMP123  Client "%USERNAME% (QWER-L1212-W6) [11.22.333.44]" opening database "databasename" as "username".

在此示例中，字符串 (QWER-L1212-W6) [11.22.333.44] 将是客户端计算机/IP 地址的唯一实例的示例。

所以结果会是这样的：

(QWER-L1212-W6) [11.22.333.44]
(QWER-L1234-W7) [11.22.333.55]
etc...

我尝试了这个但没有成功：

grep --only-matching '\(.+\) \[.+\]' | sort --unique Access.log

匹配失败并返回整个日志行。

Answer 1

请注意，您正在使用 POSIX BRE 正则表达式风格，因为您没有传递 -E/-r 或 -P 选项来更改正则表达式风格默认的。 \(...\) 定义 POSIX BRE 中的捕获组。但这里还有更多问题。

您需要使用

grep -o '([^()]*) \[[^][]*]' Access.log | sort -u

记下 grep 的输入文件参数的位置。

这里的 ([^()]*) \[[^][]*] 是一个 POSIX BRE 模式，它匹配

• ( - 文字 ( char（\( 是捕获组的开始）
• [^()]* - 除 ( 之外的零个或多个字符和 )
• ) - a文字 ) char（a \) 是捕获组的末尾）
• - 空格
• \[ - a [ char
• [^][]* - 除 [ 和 ]
• ] 之外的零个或多个字符 - 一个 ] 字符。

请参阅在线演示：

#!/bin/bash
s='2020-11-17 15:34:04.208 -0500 Information 94  XYZ-ASDF-FMP123  Client "%USERNAME% (QWER-L1212-W6) [11.22.333.44]" opening database "databasename" as "username".'
grep -o '([^()]*) \[[^][]*]' <<< "$s" | sort -u
# => (QWER-L1212-W6) [11.22.333.44]

Answer 2

grep --only-matching '\(.+\) \[.+\]' file.log

这是失败的，因为您没有在 grep 中使用 ERE（扩展正则表达式或 -E），并且 + 未转义。因此，对于您的情况，以下内容可能有效：

grep -E --only-matching '\(.+\) \[.+\]' file.log

但是，此正则表达式是有问题的，因为 .+ 将在匹配结束 ) 和结束 ]。如果您的日志中有 (...) [...] 子字符串，如下所示：

2020-11-17 15:34:04.208 -0500 Information 94  XYZ-ASDF-FMP123  Client "%USERNAME% (QWER-L1212-W6) [11.22.333.44]" opening database "databasename" as "username".
2020-11-17 15:34:04.208 -0500 Information 94  XYZ-ASDF-FMP123  Client "%USERNAME% (QWER-L1212-W6) [21.22.333.33]" opening database "databasename" as "username" (QWER-L1234-W7) [11.22.333.55]

那么您将得到不正确的结果。 不正确的结果也会随该模式一起显示为 '([^()]*) \[[^][]*]'。

由于您使用的是 access.log，其中字段的格式和位置是固定的，因此使用 awk 进行提取会更安全、更高效，如下所示：

awk -F '"' '{sub(/^[^ ]* /, "", $2); print $2}' file.log

(QWER-L1212-W6) [11.22.333.44]
(QWER-L1212-W6) [21.22.333.33]