加快使用SED或替代方案搜索大文件

Question

我有几个大文件，我需要找到一个特定的字符串，并在行之间包含字符串和下一个日期之间的所有内容。这个文件看起来像这样：

20220520-11:53:01.242: foofoobar
20220520-11:53:01.244: foo_bar blah: this_i_need
what 
to 
do
20220520-11:53:01.257: blablabla
20220520-11:53:01.257: bla this_i_need bla
20220520-11:53:01.258: barbarfooo

我需要的输出是：

20220520-11:53:01.244: foo_bar blah: this_i_need
what 
to 
do
20220520-11:53:01.257: bla this_i_need bla

现在我使用 sed'/'“ $ string”'/，/'“ $ date”'/！d'，可用预期的是，即使它不包含字符串，它也会带有下一行，但这不是一个大问题。

问题在于，搜索文件需要很长时间。 是否可以编辑 sed 命令，以使其运行速度更快，或者还有其他选项可以获得更好的运行时？也许使用Awk或Grep？

编辑：我忘了补充说，预期结果在一个文件中多次发生，因此在一场比赛后退出不合适。我正在用相同的$字符串和相同的$日期循环循环多个文件。我无法更改脚本有很多因素（从7z中一一提取文件，在一个循环中搜索后搜索和删除它们）。

Answer 1

使用 sed 您可以使用：

sed -n '/this_i_need/{:a;N;/\n20220520/!ba;p;q}' file

说明

• 请防止默认打印行
• -n 在匹配/this_i_need/ > this_i_need
• ：a 设置标签 a 能够跳回
• n 将下一行拉入模式空间
• < 如果不匹配新线
• \ n20220520/！
• 代码> / 当我们确实匹配新线和日期时，然后打印模式空间
• q 退出SED

输出

20220520-11:53:01.244: foo_bar blah: this_i_need
what 
to 
do
20220520-11:53:01.257: blablabla

Answer 2

您可以使用 a>指示gnu awk 停止处理，如果您在文件结束前遥远的线路结束时，这应该会带来速度增益。令 file.txt 进行

20220520-11:53:01.242: foofoobar
20220520-11:53:01.244: foo_bar blah: this_i_need
what 
to 
do
20220520-11:53:01.257: blablabla
20220520-11:53:01.257: bla this_i_need bla
20220520-11:53:01.258: barbarfooo

输出

awk 's&&/^[[:digit:]]{8}.*this_i_need/{print;exit}/this_i_need/{p=1;s=1;next}p&&/^[[:digit:]]{8}/{p=0}p{print}' file.txt

说明

what 
to 
do
20220520-11:53:01.257: bla this_i_need bla

：我使用2个flag-variables p 作为priting和 s ，如所见。我将gnu awk 告知

• print 当前行和 exit （如果看到的话），并以8位数字开始，然后以0或更多字符开始。 > this_i_need
• set p flag to 1 （true）和 s flag to 1 （true）如果 this_i_need 在行中找到 line line，请转到
• line p flag to 0 0 （false），如果 p 标志是 1 ，行以8位数字
• print 当前行开始，如果 p flag设置为 1 /代码>

请注意，操作顺序至关重要。

免责声明：该解决方案假设如果行以8位数字开头，则它是按日期开始的，如果不是情况，请根据您的需求调整正则表达式。

（在GAWK 4.2.1中测试）

Answer 3

使用SED，它必须删除匹配范围之外的所有线路，从缓冲区范围内，该文件效率很大。

取而代之的是，您可以在匹配特定字符串时设置标志并在匹配日期模式时清除标志，然后在设置标志时输出线路，直接通过设置标志来直接输出所需线路，并在设置标志时输出线路：

awk '/[0-9]{8}/{f=0}/this_i_need/{f=1}f' file

https://ideone.com/j2isvd

Answer 4

假设：

• 打印
• 当我们读取以任何日期开始的行（即任何8位字符串）开始时，我们在找到所需的字符串停止打印

开始

string='this_i_need'

awk -v ptn="${string}" '         # pass bash variable "$string" in as awk variable "ptn"
/^[0-9]{8}/ { printme=0 }        # clear printme flag if line starts with 8-digit string
$0 ~ ptn    { printme=1 }        # set printme flag if we find "ptn" in the current line
printme                          # only print current line if printme==1
' foo.dat

时 ：

awk -v ptn="${pattern}" '/^[0-9]{8}/ {printme=0} $0~ptn {printme=1} printme' foo.dat

注意： op可以重命名 awk 变量（ ptn ， printme ），只要它们不是保留的关键字（请参阅

这会生成：

20220520-11:53:01.244: foo_bar blah: this_i_need
what
to
do
20220520-11:53:01.257: bla this_i_need bla