sed 表达式中的命令替换

Question

我对 bash/sed 没有什么问题。我需要能够在 sed 表达式中使用命令替换。我有两个大文本文件：

• 第一个是 logfile.txt，有时* 按 ID 显示错误消息（0xdeadbeef 是常见示例），格式为 ERRORID:0xdeadbeef

• 第二个errors.txt 的错误消息存储在对 LONG_ERROR_DESCRIPTION, 0xdeadbeef

我试图使用 sed 和 bash 命令替换来完成任务：

cat logfile.txt | sed "s/ERRORID:\(0x[0-9a-f]*\)/ERROR:$(cat errors.txt |
    grep \1 | grep -o '^[A-Z_]*' )/g"

（^^^ 当然，这应该在一行中）

如果它会起作用，然后我可以获得更好的日志文件版本和更好的错误信息。

   Lot's of meaningless stuff ERRORID:0xdeadbeef and something else =>
=> Lot's of meaningless stuff ERROR:LONG_ERROR_DESCRIPTION and something else 

但事实并非如此。问题是 sed 无法将正则表达式部分 (\1)“注入”到命令替换中。我还有哪些其他选择？我知道可以先构建 sed 表达式或以其他方式执行，但我想避免多次解析这些文件（它们可能很大）。

一如既往，非常感谢您的帮助。

*日志文件内没有真正的格式。 没有使用不一致的节、列、制表符/逗号分隔

PS， 。只是为了解释一下。以下表达式有效，但当然其中没有传递任何参数：

echo "my cute cat" | sed "s/cat/$(echo dog)/g"

Answer 1

您可以从错误消息目录创建 sed 脚本，然后将该 sed 脚本应用到日志文件。

基本上，大致如下：

sed 's/\(.*\), 0x\([0-9A-F]*\)$/s%ERRORID:0x\2%ERROR:\1%g/' errors.txt |
sed -f - logfile.txt

第一个 sed 脚本的输出应该是这样的：

s%ERRORID:0x00000001%ERROR:Out of memory%
s%ERRORID:0x00000002%ERROR:Stack overflow%
s%ERRORID:0x00000031%ERROR:values of beta may cause dom%

也就是说，一个新的 sed 脚本指定目录中每个错误代码的替换。

sed 有不同的方言，因此可能需要进行一些细微的调整。我认为 Linux 上的 sed 应该在正则表达式中对括号进行分组之前使用反斜杠，并乐意容忍标准输入作为 -f 选项的参数。不过，这不能移植到其他 Unices（但如果您需要可移植性，可以用 Perl 代替 sed）。

*编辑：如果错误消息相当静态，和/或您想从标准输入读取日志，请将生成的脚本保存在文件中；

# Do this once
sed 's/\(.*\), 0x\([0-9A-F]*\)$/s%ERRORID:0x\2%ERROR:\1%g/' errors.txt >errors.sed
# Use it many times
sed -f errors.sed logfile.txt

您还可以在 errors.sed 顶部添加 #!/usr/bin/sed -f 并添加 chmod +x 来实现到一个独立的命令脚本中。

Answer 2

我不知道这是否有效，因为我无法得到捕获组是否持续存在的答案，但是 sed 不仅仅是 s 命令。我想您可以在正则表达式行选择器中使用捕获组，然后将其用于命令替换。像这样的事情：

/ERRORID:\(0x[0-9a-f]*\)/  s/ERRORID:0x[0-9a-f]*/ERROR:$(grep \1 errors.txt | grep -o '^[A-Z_]*' )/

无论如何，如果这不起作用，我会改变立场并指出这对 Perl 来说确实是一份好工作。这是我的做法，我认为这更清晰/更容易理解：

#!/usr/bin/perl

while(<>) {
  while( /ERRORID:(0x[0-9a-f]*)/ ) {
    $name = system("grep $1 errors.txt | grep -o '^[A-Z_]*'");
    s/ERRORID:$1/ERROR:$name/g;
  }
  print;
}

然后执行：

./thatScript.pl logfile.txt

Answer 3

只是为了让人们寻找裸壳和 sed 的解决方案。不完美但有效：

cat logfile.txt | while read line ; do id=$(echo -E "$line" | 
    grep "ERRORID:0x[0-9a-f]*" | grep -o "0x[0-9a-f]*" ) ; 
    if [ ! -z "$id" ] ; then echo -E "$line" | sed "s/$id/$(grep $id errors.txt | 
    grep -o '^[A-Z_]*' )/g" ;else echo -E "$line" ; fi ; done

如果您看到一些修复选项，请分享。

Answer 4

使用 GNU awk for gensub() 和 3rg arg to match()：

$ awk '
    NR==FNR {
        map[$NF] = gensub(/,[^,]+$/,"",1)
        next
    }
    match($0,/(.*ERRORID:)(0x[[:xdigit:]]+)(.*)/,a) {
        $0 = a[1] (a[2] in map ? map[a[2]] : a[2]) a[3]
    }
1' errors.txt logfile.txt
Lot's of meaningless stuff ERRORID:LONG_ERROR_DESCRIPTION and something else =>

上面的运行速度比当前接受的答案中的 sed 脚本快得多，并且考虑到 LONG_ERROR_DESCRIPTION 的各种可能内容，不会失败作为 % 或 & 或 \1，当给定的 ERRORID 是另一个 ERRORID 的子集时，也不会失败，例如，如果0xdead 和 0xdeadbeef 是 2 个独立的错误代码，那么 sed 脚本可能会失败，具体取决于它们在 error.txt 中出现的顺序，例如它们可以转换 ERRORS:0xdeadbeef< /code> 到错误：LONG_ERROR_DESCRIPTIONbeef。首先映射0xdead。