训练 Tesseract 3 识别燃气表真实图像中的数字

Question

我正在尝试训练超正方体来识别燃气表真实图像中的数字。

我用于训练的图像是用相机制作的，因此存在很多问题：图像分辨率差、图像模糊、光线差或由于过度曝光、反射、阴影等而导致对比度低......

用于训练，我创建了一个大图像，其中包含燃气表图像捕获的一系列数字，并手动编辑文件框以创建 .tr 文件。结果是，只有更清晰和锐利图像的数字被识别，而模糊图像的数字未被超立方体捕获。

Answer 1

据我所知，您需要 OpenCV 来识别数字所在的框，但 OpenCV 并不是 OCR 之神。找到盒子后，只需裁剪该部分，进行图像处理，然后将其交给 tesseract 进行 OCR。

我需要 OpenCV 方面的帮助，因为我不知道如何在 OpenCV 中编程。

以下是一些现实世界的例子。

• 第一张图像是原始图像（裁剪后的功率计数字）
• 第二张图像是 GIMP 中稍微清理过的图像，在 tesseract 中 OCR 准确度约为 50%
• 第三张图像是完全清理过的图像 - 无需任何训练即可识别 100% OCR！

Answer 2

我会首先尝试这个简单的 ImageMagick 命令：（

 convert          \
    original.jpg  \
   -threshold 50% \
    result.jpg

稍微使用 50% 参数 - 尝试使用更小和更高的值...）

阈值基本上只留下 2 个值，零或最大值，用于每个颜色通道。低于阈值的值设置为 0，高于阈值的值设置为 255（如果工作在 16 位深度，则为 65535）。

根据您的原始 .jpg，您可能会得到一个支持 OCR 的、有效的、对比度非常高的图像。

Answer 3

我建议你：

• 使用一个工具来编辑框，比如 jTessBoxEditor，它非常有帮助，让你赢得了一次。您可以从此处轻松安装它，
• 最好训练实际情况的字母（嘈杂、模糊） 。您的训练集仍然有限，您可以添加更多训练样本。

• 我建议您使用 Tesseract 的 API 本身来增强图像（去噪、标准化、锐化...）
  例如： Boxa * tesseract::TessBaseAPI::GetConnectedComponents(Pixa** pixa) （它允许您到达每个字符的边界框）

  Pix* pimg = tess_api->GetThresholdedImage();

此处您可以找到一些示例

Answer 4

Tesseract 是一个相当不错的 OCR 软件包，但不能正确预处理图像。我的经验是，如果您在将其传递给 tesseract 之前进行一些预处理，则可以获得良好的 OCR 结果。

有几个关键点可以显着提高识别能力：

1. 消除背景噪音。基本上这意味着使用平均自适应阈值。我还要确保角色是黑色的，背景是白色的。
2. 使用正确的分辨率。如果得到不好的结果，请放大或缩小图像，直到得到好的结果。您想要瞄准大约。 300 dpi 时字体大小 14；在我的处理发票的软件中效果最好。
3. 不要将图像存储为 JPEG；使用 BMP 或 PNG 或其他不会使图像产生噪音的东西。
4. 如果您只使用一种或两种字体，请尝试在这些字体上训练超正方体。

至于第 4 点，如果您知道要使用的字体，那么有一些比使用 Tesseract 更好的解决方案，例如直接在图像上匹配这些字体......基本算法是找到数字并将它们与所有可能的字符匹配（只有 10 个）……但是，实施起来还是很棘手。