如何从文本文件中删除包含特定字符串的所有行？

Question

如何使用 sed 删除文本文件中包含特定字符串的所有行？

Answer 1

删除该行并将输出打印到标准输出：

sed '/pattern to match/d' ./infile

直接修改文件 – 不适用于 BSD sed：

sed -i '/pattern to match/d' ./infile

相同，但对于 BSD sed（Mac OS X 和 FreeBSD） – 不适用于 GNU sed：

sed -i '' '/pattern to match/d' ./infile

直接修改文件（并创建备份）——与 BSD 和 GNU sed 一起使用：

sed -i.bak '/pattern to match/d' ./infile

Answer 2

除了 sed 之外，还有许多其他方法可以删除具有特定字符串的行：

AWK

awk '!/pattern/' file > temp && mv temp file

Ruby (1.9+)

ruby -i.bak -ne 'print if not /test/' file

Perl

perl -ni.bak -e "print unless /pattern/" file

Shell（bash 3.2 及更高版本）

while read -r line
do
  [[ ! $line =~ pattern ]] && echo "$line"
done <file > o
mv o file

GNU grep

grep -v "pattern" file > temp && mv temp file

当然还有 sed （打印逆过程比实际删除更快）：

sed -n '/pattern/!p' file

Answer 3

您可以使用 sed 替换文件中的适当行。但是，它似乎比使用 grep 反转到第二个文件然后将第二个文件移动到原始文件上要慢得多。

例如

sed -i '/pattern/d' filename      

或者

grep -v "pattern" filename > filename2; mv filename2 filename

无论如何，第一个命令在我的机器上花费了 3 倍的时间。

Answer 4

最简单的方法是使用 GNU sed：

sed --in-place '/some string here/d' yourfile

Answer 5

您可以考虑使用 ex （这是基于标准 Unix 命令的编辑器）：

ex +g/match/d -cwq file

其中：

• + 执行给定的 Ex 命令 (man ex)，与执行 -c 相同>wq（写入并退出）
• g/match/d - 用于删除具有给定匹配的行的Ex命令，请参阅：Power of g

上面的示例是符合 POSIX 标准的方法，用于按照此 在 Unix.SE 上发布 和 POSIX ex 的规范。

---

与sed的区别在于：

sed 是一个S流ED编辑器，而不是文件编辑器。^BashFAQ

除非您喜欢不可移植的代码、I/O 开销和其他一些不良副作用。所以基本上一些参数（例如 in-place/-i）是非标准的 FreeBSD 扩展，可能在其他操作系统上不可用。

Answer 6

我在 Mac 上遇到了这个问题。另外，我需要使用变量替换来做到这一点。

所以我使用：

sed -i '' "/$pattern/d" $file

其中 $file 是需要删除的文件，$pattern code> 是要匹配删除的模式。

我从中选择了 '' 评论。

这里需要注意的是在 "/$pattern/d" 中使用了双引号。当我们使用单引号时变量将不起作用。

Answer 7

您还可以使用这个：

 grep -v 'pattern' filename

这里 -v 将仅打印除您的模式之外的其他内容（这意味着反向匹配）。

Answer 8

要使用 grep 获得类似结果，您可以这样做：

echo "$(grep -v "pattern" filename)" >filename

Answer 9

从所有文件中删除匹配的行

grep -rl 'text_to_search' . | xargs sed -i '/text_to_search/d'

Answer 10

我用一个包含大约 345 000 行的文件做了一个小型基准测试。在这种情况下，使用 grep 的方式似乎比 sed 方法快 15 倍左右。

我已经尝试过设置 LC_ALL=C 和不设置 LC_ALL=C，它似乎并没有显着改变时间。搜索字符串 (CDGA_00004.pdbqt.gz.tar) 位于文件中间的某个位置。

以下是命令和时间：

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

Answer 11

SED：

• '/James\|John/d'
• -n '/James\|John/!p'

AWK:

• < a href="http://awk.js.org/?gist=b2d6c62828b0daf29d7cf9be3c9e34f5" rel="noreferrer">'!/James|John/'
• /James|John/ {next;} {print}

GREP:

• -v 'James\|John'

Answer 12

您还可以删除文件中的一系列行。
例如删除 SQL 文件中的存储过程。

sed '/CREATE PROCEDURE.*/,/END ;/d' sqllines.sql

这将删除 CREATE PROCEDURE 和 END ; 之间的所有行。

我已经用这个 sed 命令清理了许多 sql 文件。

Answer 13

perl -i    -nle'/regexp/||print' file1 file2 file3
perl -i.bk -nle'/regexp/||print' file1 file2 file3

第一个命令就地编辑文件 (-i)。

第二个命令执行相同的操作，但通过将 .bk 添加到文件名（.bk 可以更改为任何内容）来保留原始文件的副本或备份。

Answer 14

我发现大多数答案对我来说没有用，如果你使用 vim，我发现这非常简单明了：

:g//d

来源

Answer 15

echo -e "/thing_to_delete\ndd\033:x\n" | vim 文件要编辑.txt

Answer 16

奇怪的是，接受的答案实际上并没有直接回答问题。问题询问如何使用 sed 替换字符串，但答案似乎预设了如何将任意字符串转换为正则表达式的知识。

许多编程语言库都有执行此类转换的函数，例如

python: re.escape(STRING)
ruby: Regexp.escape(STRING)
java:  Pattern.quote(STRING)

但是如何在命令行上执行此操作？

由于这是一个面向 sed 的问题，一种方法是使用 sed 本身：

sed 's/\([\[/({.*+^$?]\)/\\\1/g'

因此，给定一个任意字符串 $STRING，我们可以编写类似以下内容的内容：

re=$(sed 's/\([\[({.*+^$?]\)/\\\1/g' <<< "$STRING")
sed "/$re/d" FILE

或作为单行：

 sed "/$(sed 's/\([\[/({.*+^$?]\)/\\\1/g' <<< "$STRING")/d" 

其变体如本页其他地方所述。

Answer 17

cat filename | grep -v "pattern" > filename.1
mv filename.1 filename

Answer 18

万一有人想要精确匹配字符串，您可以使用 grep -w 中的 -w 标志来表示整个字符串。也就是说，例如，如果您想要删除编号为 11 的行，但保留编号为 111 的行：

-bash-4.1$ head file
1
11
111

-bash-4.1$ grep -v "11" file
1

-bash-4.1$ grep -w -v "11" file
1
111

如果您想一次排除多个精确模式，它也可以使用 -f 标志。如果“黑名单”是一个每行都有多个模式的文件，您要从“文件”中删除：

grep -w -v -f blacklist file

Answer 19

在控制台中显示已处理的文本

cat filename | sed '/text to remove/d' 

将已处理的文本保存到文件中

cat filename | sed '/text to remove/d' > newfile

将已处理的文本信息附加到现有文件

cat filename | sed '/text to remove/d' >> newfile

以处理已处理的文本，在这种情况下，删除已删除的更多行

cat filename | sed '/text to remove/d' | sed '/remove this too/d' | more

| more 将一次显示一页的文本块。

Answer 20

您可以使用旧的 ed 来编辑文件，其方式与使用的 答案 类似例如。在这种情况下，最大的区别是 ed 通过标准输入获取命令，而不是像 ex 那样作为命令行参数。在脚本中使用它时，适应这种情况的通常方法是使用 printf 将命令通过管道传递给它：

printf "%s\n" "g/pattern/d" w | ed -s filename

或使用heredoc：

ed -s filename <<EOF
g/pattern/d
w
EOF

Answer 21

该解决方案用于对多个文件执行相同的操作。

for file in *.txt; do grep -v "Matching Text" $file > temp_file.txt; mv temp_file.txt $file; done