使用 awk 进行条件查找/替换

Question

我想解决一个常见但非常具体的问题：由于OCR错误，很多字幕文件包含字符“I”（大写i）而不是“l”（小写L）。

我的攻击计划是：

1. 逐字处理文件
2. 将每个单词传递给 hunspell 拼写检查器（“echo the-word | hunspell -l”如果有效则根本不产生任何响应，如果无效则产生响应
3. ）是一个坏词，并且它包含大写的 Is，然后将其替换为小写的 l，然后重试。如果它现在是有效单词，则替换原始单词。

我当然可以在脚本中标记和重建整个文件，但在我走这条路之前，我想知道是否可以在字级使用 awk 和/或 sed 进行这些类型的条件操作？

任何其他建议的方法也将非常受欢迎！

Answer 1

为此，您实际上只需要 bash：

while read line; do
  words=( $line )
  for ((i=0; i<${#words[@]}; i++)); do
    word=${words[$i]}
    if [[ $(hunspell -l <<< $word) ]]; then
      # hunspell had some output
      tmp=${word//I/l}
      if [[ $tmp != $word ]] && [[ -z $(hunspell -l <<< $tmp) ]]; then
        # no output for new word, therefore it's a dictionary word
        words[$i]=$tmp
      fi
    fi
  done
  # print the new line
  echo "${words[@]}"
done < filename > filename.new

将整个文件传递给 hunspell 并解析其输出似乎更有意义。

Answer 2

两个建议：

1. 在靠近问题根源的地方修复问题，即靠近 OCR 软件的地方。能不能让查字典连非“我”字都查不出来？如果没有，请尝试其他可以的 OCR 程序。
2. 通过 hunspell 运行每个单词都会为每个单词创建一个进程，这会大量浪费 CPU 周期。 尝试使用多个遍，其中第一遍找到所有“I”单词，然后过滤掉正确的单词，然后替换每个可纠正的单词。