使用 sed 删除具有重复和增量字符的字符串？

Question

我正在尝试使用 sed 删除包含重复字符的字符串，然后将它们附加到文件中。 到目前为止，我已经做到了，可以通过连续重复（如“AA”或“22”）来删除刺痛，但我正在努力处理完整的字符串重复和增量字符。

generic string generator | sed '/\([^A-Za-z0-9_]\|[A-Za-z0-9]\)\1\{1,\}/d' >> parsed sting to file

我还想删除包含任何重复的字符串，例如“ABA”。 此外，还包含任何升序或降序字符的字符串，例如“AEF”或“AFE”。

我假设使用多次 sed 来删除不需要的字符串会更容易。

** 更多信息，以尽量避免提到的 XY 问题。 **

字符串的长度可以是 8 到 64，但在本例中我关注的是 8。同时我将字符串生成限制为仅输出大写字母字符串 (AZ)。这有几个原因，但主要是我不希望生成的文件占用的空间大得离谱。

sed 的第一遍从流中删除不必要的输出，例如“AAAAAAAA”和“AAAAAAB”。这会导致文件以字符串“ABABABAB”和“ABABABAC”开头。

下一次我想检查从一个字符到下一个字符是否不会增加或减少一个值。因此，像“ABABABAB”这样的字符串将被删除，但“ACACACAC”将解析为流。

下一步我想删除整个字符串中包含任何重复字符的字符串。因此，像“ACACACAC”这样的字符串将被删除，但“ACEBDFHJ”将解析到文件中。

希望有帮助。

Answer 1

为了使用 sed 执行您所描述的操作，您需要多次运行它。由于 sed 不理解“这个字符是从另一个字符增量”的概念，因此您需要在所有可能的组合上运行它：

sed '/AB/d'
sed '/BC/d'
sed '/CD/d'
sed '/DE/d'

等等。

对于降序字符，同样的事情：

sed '/BA/d'
sed '/CB/d'

为了然后删除具有重复字符的字符串，你可以做这样的事情：

sed '/\(.\).*\1/d'

以下应该可以解决问题：

generic string generator |sed '/\(.\).*\1/d'|sed /BA/d|sed /AB/d||sed /CB/d|sed /BC/d|sed /DC/d|sed /CD/d|sed /ED/d|sed /DE/d|sed /FE/d|sed /EF/d|sed /GF/d|sed /FG/d|sed /HG/d|sed /GH/d|sed /IH/d|sed /HI/d|sed /JI/d|sed /IJ/d|sed /KJ/d|sed /JK/d|sed /LK/d|sed /KL/d|sed /ML/d|sed /LM/d|sed /NM/d|sed /MN/d|sed /ON/d|sed /NO/d|sed /PO/d|sed /OP/d|sed /QP/d|sed /PQ/d|sed /RQ/d|sed /QR/d|sed /SR/d|sed /RS/d|sed /TS/d|sed /ST/d|sed /UT/d|sed /TU/d|sed /VU/d|sed /UV/d|sed /WV/d|sed /VW/d|sed /XW/d|sed /WX/d|sed /YX/d|sed /XY/d|sed /ZY/d|sed /YZ/d

我只在几个输入样本上测试了这个，但它们似乎都有效。

请注意，这相当笨拙，最好用比 sed 更复杂的东西来完成。这是一个 python 示例：

import math
def isvalid(x):
   if set(len(x)) < len(x):
     return False
   for a in range(1, len(x)):
     if math.fabs(ord(x[a])-ord(x[a-1])) == 1:
       return False
   return True

这比大量 sed 调用更具可读性，并且具有相同的功能。