不区分大小写的搜索并用 sed 替换

Question

我正在尝试使用 SED 从日志文件中提取文本。我可以毫不费力地进行搜索和替换：

sed 's/foo/bar/' mylog.txt

但是，我想让搜索不区分大小写。从我用谷歌搜索到的内容来看，似乎将 i 附加到命令末尾应该可以工作：

sed 's/foo/bar/i' mylog.txt

但是，这给了我一条错误消息：

sed: 1: "s/foo/bar/i": bad flag in substitute command: 'i'

这里出了什么问题，如何修复它？

Answer 1

更新：从 ma​​cOS Big Sur (11.0) 开始，sed 现在确实支持我标记了不区分大小写的匹配，因此问题中的命令现在应该可以工作（BSD sed 不报告其版本，但您可以按日期man 页面的底部，应该是 2017 年 3 月 27 日 或更晚的日期）；一个简单的例子：

# BSD sed on macOS Big Sur and above (and GNU sed, the default on Linux)
$ sed 's/ö/@/I' <<<'FÖO'
F@O   # `I` matched the uppercase Ö correctly against its lowercase counterpart

^{注意：I（大写）是标志的记录形式，但 i 也可以工作。}

类似地，以 < strong>ma​​cOS Big Sur (11.0) awk 现在支持区域设置（awk --version 应报告 20200816 或更新版本）：

# BSD awk on macOS Big Sur and above (and GNU awk, the default on Linux)
$ awk 'tolower($0)' <<<'FÖO'
föo  # non-ASCII character Ö was properly lowercased

---

以下内容适用于 ma​​cOS 直至 Catalina (10.15)：

需要明确的是：在 macOS 上，< strong>sed - 这是 BSD 实现 - 不支持不区分大小写的匹配 - 很难相信，但却是事实。 以前接受的答案，它本身显示了一个GNU sed命令，由于评论中提到的基于 Perl 的解决方案而获得了这一地位。

要使该 Perl 解决方案也能通过 UTF-8 处理外来字符，请使用以下内容：

perl -C -Mutf8 -pe 's/öœ/oo/i' <<< "FÖŒ" # -> "Foo"

• -C 打开 UTF-8 支持对于流和文件，假设当前区域设置是基于 UTF-8 的。
• -Mutf8 告诉 Perl 将源代码解释为 UTF-8（在本例中，是传递给 -pe 的字符串） - 这是更详细的 -e 'use utf8;' 的更短等效项。^{谢谢，Mark Reed}

（请注意，使用 awk 也不是一个选项，因为 macOS 上的 awk（即 BWK awk 和 BSD awk）似乎完全不知道语言环境 - 它的 tolower() 和 toupper() 函数忽略外来字符（以及 sub() / gsub() 没有不区分大小写的标志）。）

---

关于 sed< 关系的注释/code> 和 awk 符合 POSIX 标准：

BSD sed 和 awk 将其功能大部分限制为< a href="https://pubs.opengroup.org/onlinepubs/9699919799/utilities/sed.html" rel="nofollow noreferrer">POSIX sed 和
POSIX awk 规范强制执行，而它们的GNU 对应版本实现了更多的扩展。

Answer 2

^{编者注：此解决方案不适用于 macOS（开箱即用），因为它仅适用于 GNU sed，而 macOS 附带 BSD sed。}

将“I”大写。

sed 's/foo/bar/I' file

Answer 3

Mac OS X 上 sed 的另一个解决方法是从 MacPorts 或 HomeBrew 安装 gsed，然后创建别名 sed='gsed'。

Answer 4

例如，如果您首先进行模式匹配，

/pattern/s/xx/yy/g

那么您希望将 I 放在模式后面：

/pattern/Is/xx/yy/g

示例：

echo Fred | sed '/fred/Is//willma/g'

returns willma;如果没有 I，它会返回原样的字符串 (Fred)。

Answer 5

sed FAQ 解决了密切相关的不区分大小写的搜索。它指出 a) sed 的许多版本都支持它的标志 b) 在 sed 中这样做很尴尬，你应该使用 awk 或 Perl。

但是要在 POSIX sed 中执行此操作，他们建议了三个选项（改编用于此处替换）：

1. 转换为大写并将原始行存储在保留空间中；不过，这不适用于替换，因为原始内容将在打印之前恢复，因此它仅适用于基于不区分大小写的匹配插入或添加行。

2. 也许可能性仅限于 FOO、Foo 和 foo。这些都可以涵盖

   s/FOO/bar/;s/[Ff]oo/bar/
   

3. 要搜索所有可能的匹配项，可以对每个字符使用括号表达式：

   s/[Ff][Oo][Oo]/bar/
   

Answer 6

使用以下内容替换所有出现的情况：

sed 's/foo/bar/gI' mylog.txt

Answer 7

Mac 版本的 sed 似乎有点受限。解决此问题的一种方法是使用 Linux 容器（通过 Docker），该容器具有可用版本的 sed：

cat your_file.txt | docker run -i busybox /bin/sed -r 's/[0-9]{4}/****/Ig'

Answer 8

这不是一个直接的答案，但在某些情况下，可以通过 tr AZ az 传输整个内容以小写整个流。

当然，您会丢失大写字母，但这种损失可以通过简化管道的其他部分来抵消。数字和日期/时间也不受影响，并且输出流也会得到更好的压缩。电子邮件地址不区分大小写，因此这并不重要。

一个缺点是区分大小写的标识符可能会变得很尴尬。 Sendmail 日志会较少使用这种方式。

Answer 9

我有类似的需求，并提出了这个：

这个命令可以简单地查找所有文件：

grep -i -l -r foo ./* 

这个命令可以排除 this_shell.sh （如果您将该命令放入名为 this_shell.sh 的脚本中） ，将输出发送到控制台以查看发生了什么，然后对找到的每个文件名使用 sed 将文本 foo 替换为 bar:

grep -i -l -r --exclude "this_shell.sh" foo ./* | tee  /dev/fd/2 | while read -r x; do sed -b -i 's/foo/bar/gi' "$x"; done 

我选择此方法，因为我不喜欢为未修改的文件更改所有时间戳。输入 grep 结果只允许查看带有目标文本的文件（因此也可能提高性能/速度）

请务必备份您的文件和文件。使用前测试。对于带有嵌入空格的文件，在某些环境中可能不起作用。 （？）

Answer 10

以下应该没问题：

sed -i 's/foo/bar/gi' mylog.txt