正则表达式删除文件中以相同或定义的字母结尾的行

Question

我需要一个用于 ma​​c osx 的 bash 脚本，以这种方式工作：

./script.sh * folder/to/files/ 
#
# or #
#
./script.sh xx folder/to/files/

该脚本

• 读取文件列表，
• 打开每个文件并读取每一行，
• 如果行以相同的字母结尾（'*' 模式）或使用自定义字母（'xx'）然后
  删除行并重新保存文件
• 备份原始文件

---

我执行此操作的第一种方法：

#!/bin/bash

# ck init params
if [ $# -le 0 ]
then
  echo "Usage: $0 <letters>"
  exit 0
fi

# list files in current dir
list=`ls BRUTE*` 
for i in $list 
do 

  # prepare regex    
  case $1 in
       "*") REGEXP="^.*(.)\1+$";;
       *) REGEXP="^.*[$1]$";;
  esac    
  FILE=$i

  # backup file
  cp $FILE $FILE.bak

  # removing line with same letters
  sed -Ee "s/$REGEXP//g" -i '' $FILE
  cat $FILE | grep -v "^$"

done

exit 0

但它无法按我想要的方式工作......

出了什么问题？
我该如何修复这个脚本？

---

示例：

$cat BRUTE02.dat BRUTE03.dat
aa
ab
ac
ad
ee
ef
ff
hhh
$

如果我使用“*”，我希望所有以相同字母结尾的文件都是干净的。
如果我使用“ff”，我希望所有以“ff”结尾的文件都是干净的。

---

啊，它在 Mac OSx 上。请记住，sed 与经典的 Linux sed 略有不同。

人 sed

 sed [-Ealn] 命令 [文件 ...]
 sed [-Ealn] [-e 命令] [-f 命令文件] [-i 扩展名] [文件

...]

描述 sed 实用程序读取指定的文件或标准输入 如果未指定文件，则修改列表指定的输入 命令。这 然后输入被写入标准输出。

 可以将单个命令指定为 sed 的第一个参数。 

可以使用 -e 或 -f 选项指定多个命令。全部 命令被应用 按照指定的顺序对输入进行排序，而不管它们的值如何 起源。

 以下选项可用：

 -E 将正则表达式解释为扩展（现代）

正则表达式而不是基本正则表达式（BRE）。 re_format(7) 手册页 完整描述了两种格式。

 -a 作为“w”函数参数列出的文件

默认情况下，

在任何处理开始之前创建（或截断）。 -a 选项导致 sed 延迟打开每个文件，直到包含的命令 相关的“w”函数应用于一行输入。

<前><代码> -e 命令 追加命令指定的编辑命令

命令列表的参数。

<前><代码> -f 命令文件 追加在文件中找到的编辑命令

command_file 到命令列表。编辑命令应该 每个都列在单独的行中。

<前><代码> -i 扩展名 就地编辑文件，保存指定的备份

扩展名。如果给出零长度扩展，则不会进行备份 已保存。不推荐 修正以在就位时提供零长度扩展 编辑文件，因为在某些情况下您可能会面临损坏或部分内容的风险 磁盘空间在哪里 精疲力尽等

 -l 使输出行缓冲。

 -n 默认情况下，每行输入都会回显标准

应用所有命令后的输出。然后 选项抑制此 行为。

 sed命令的形式如下：

       [地址[,地址]]函数[参数]

 可以在第一个地址和地址之前插入空格

命令的功能部分。

 通常，sed 会循环复制一行输入，不包括

其终止换行符，进入模式空间，（除非有 还剩下什么吗 在“D”函数之后），应用所有命令 选择该模式空间的地址，将模式空间复制到 标准输出，附加 换行符，并删除模式空间。

 某些函数使用保留空间来保存全部或部分

用于后续检索的模式空间。

还有什么吗？
我的问题清楚了吗？

谢谢。

Answer 1

我不太了解 bash shell，所以无法评估失败是什么。
这只是对正则表达式的观察（这可能是错误的）。

* 模式正则表达式看起来没问题：
^.*(.)\1+$ 以相同字母结尾..

但文字模式可能不会按照您的想法操作。
当前：^.*[$1]$ 以“文字字符串”结尾
这不应该使用字符类。

将其更改为：^.*$1$

意识到 $1 中的字符串（在进入正则表达式之前）应该被转义
如果其中包含任何正则表达式元字符。

否则，你打算开设角色班吗？

Answer 2

perl -ne '
    BEGIN {$arg = shift; $re = $arg eq "*" ? qr/([[:alpha:]])\1$/ : qr/$arg$/}
    /$re/ && next || print
'

示例：

echo "aa
ab
ac
ad
ee
ef
ff" | perl -ne '
    BEGIN {$arg = shift; $re = $arg eq "*" ? qr/([[:alpha:]])\1$/ : qr/$arg$/}
    /$re/ && next || print
' '*'

产生

ab
ac
ad
ee
ef

Answer 3

一个可能的问题：

• 当您在命令行上输入 * 时，shell 会将其替换为目录中所有文件的名称。您的 $1 永远不会等于 *。

还有一些提示：

• 您可以替换 替换：

This：

# list files in current dir
list=`ls BRUTE*` 
for i in $list 

With：

for i in BRUTE*

• And：

This：

cat $FILE | grep -v "^$"

With：

grep -v "^$" $FILE

除了可能的问题之外，我看不出有什么问题。 干净是什么意思？您能举例说明文件之前和之后的样子以及命令的样子吗？

Answer 4

这就是问题所在！

grep '\(.\)\1[^\r\n]
在 MAC OSX 上，( ) { } 等...必须加引号！
解决了，谢谢。
 *

在 MAC OSX 上，( ) { } 等...必须加引号！

解决了，谢谢。