为 OCR 准备复杂图像

Question

我想识别信用卡上的数字。更糟糕的是，无法保证源图像的高质量。 OCR是通过神经网络来实现的，但这不应该是这里的主题。

当前的问题是图像预处理。由于信用卡可能有背景和其他复杂的图形，因此文本不如扫描文档那么清晰。我用边缘检测（Canny Edge，Sobel）进行了实验，但并不成功。 还计算灰度图像和模糊图像之间的差异（如 在 OCR 图像处理中删除背景颜色）并没有产生可 OCR 的结果。

我认为大多数方法都会失败，因为特定数字与其背景之间的对比度不够强。可能需要将图像分割成块并为每个块找到最佳的预处理解决方案？

您对如何将源文件转换为可读的二进制图像有什么建议吗？ 边缘检测是可行的方法还是应该坚持基本的颜色阈值？

这是灰度阈值方法的示例（我显然对结果不满意）：

原始图像：

灰度图像：

阈值图像：

感谢您的任何建议， 瓦伦丁

Answer 1

如果可能的话，要求使用更好的照明来捕捉图像。低角度光会照亮凸起（或凹陷）字符的边缘，从而大大提高图像质量。如果图像要由机器分析，则应优化照明以提高机器可读性。

也就是说，您应该研究的一种算法是笔划宽度变换，它用于从自然图像中提取字符。

描边宽度变换 (SWT) 实现（Java、C#...）

全局阈值（用于二值化或剪切边缘强度）可能无法满足此应用程序的需要，相反，您应该查看局部阈值。在您的示例图像中，“31”后面的“02”特别弱，因此搜索该区域中最强的局部边缘将比使用单个阈值过滤字符串中的所有边缘更好。

如果您可以识别字符的部分片段，那么您可以使用一些方向形态学操作来帮助连接片段。例如，如果您有两个几乎水平的线段，如下所示，其中 0 是背景，1 是前景...

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 1 1 1 1 0 0 1 1 1 1 1 1 0 0 0
0 0 0 1 0 0 0 1 0 1 0 0 0 0 1 0 0 0

那么您可以沿水平方向执行形态学“关闭”操作，仅连接这些线段。内核可能是这样的。

x x x x x
1 1 1 1 1
x x x x x

有更复杂的方法可以使用贝塞尔拟合甚至欧拉螺旋（又名回旋曲线）来执行曲线完成，但是用于识别要连接的段的预处理和用于消除不良连接的后处理可能会变得非常棘手。

Answer 2

我解决这个问题的方法是将卡片分成不同的部分。没有很多独特的信用卡开始（万事达卡，维萨卡，列表由您决定），因此您可以像下拉菜单一样指定它是哪张信用卡。这样，您就可以消除并指定像素区域：

示例：

仅适用于距离底部 20 像素、距离底部 30 像素的区域
从左到右 10 像素到从底部 30 像素（创建一个
矩形）-这将覆盖所有万事达卡

当我使用图像处理程序（有趣的项目）时，我调高了图片的对比度，将其转换为灰度，取 1 像素的每个单独 RGB 值的平均值，并将其与周围的像素：

示例：

PixAvg[i,j] = (Pix.R + Pix.G + Pix.B)/3
if ((PixAvg[i,j] - PixAvg[i,j+1])>30)
    boolEdge == true;

30 是您希望图像的清晰度。差异越小，容忍度就越低。

在我的项目中，为了查看边缘检测，我创建了一个单独的布尔数组，其中包含 boolEdge 的值和一个像素数组。像素阵列仅充满黑色和白色点。它从布尔数组中获取值，其中 boolEdge = true 是一个白点，boolEdge = false 是一个黑点。所以最后，你会得到一个只包含白点和黑点的像素阵列（完整图片）。

从那里，可以更容易地检测数字的开始位置和结束位置。

Answer 3

在我的实现中，我尝试使用这里的代码：http: //rnd.azoft.com/algorithm-identifying-barely-legible-embossed-text-image/
结果更好，但还不够......
我发现很难找到纹理卡的正确参数。

(void)processingByStrokesMethod:(cv::Mat)src dst:(cv::Mat*)dst { 
cv::Mat tmp;  
cv::GaussianBlur(src, tmp, cv::Size(3,3), 2.0);                    // gaussian blur  
tmp = cv::abs(src - tmp);                                          // matrix of differences between source image and blur iamge  

//Binarization:  
cv::threshold(tmp, tmp, 0, 255, CV_THRESH_BINARY | CV_THRESH_OTSU);  

//Using method of strokes:  
int Wout = 12;  
int Win = Wout/2;  
int startXY = Win;  
int endY = src.rows - Win;  
int endX = src.cols - Win;  

for (int j = startXY; j < endY; j++) {  
    for (int i = startXY; i < endX; i++) {  
        //Only edge pixels:  
        if (tmp.at<unsigned char="">(j,i) == 255)  
        {  
            //Calculating maxP and minP within Win-region:  
            unsigned char minP = src.at<unsigned char="">(j,i);  
            unsigned char maxP = src.at<unsigned char="">(j,i);  
            int offsetInWin = Win/2;  

            for (int m = - offsetInWin; m < offsetInWin; m++) {  
                for (int n = - offsetInWin; n < offsetInWin; n++) {  
                    if (src.at<unsigned char="">(j+m,i+n) < minP) {  
                        minP = src.at<unsigned char="">(j+m,i+n);  
                    }else if (src.at<unsigned char="">(j+m,i+n) > maxP) {  
                        maxP = src.at<unsigned char="">(j+m,i+n);  
                    }  
                }  
            }  

            //Voiting:  
            unsigned char meanP = lroundf((minP+maxP)/2.0);  

            for (int l = -Win; l < Win; l++) {  
                for (int k = -Win; k < Win; k++) {  
                    if (src.at<unsigned char="">(j+l,i+k) >= meanP) {  
                        dst->at<unsigned char="">(j+l,i+k)++;  
                    }  
                }  
            }  
        }  
    }  
}  

///// Normalization of imageOut:  
unsigned char maxValue = dst->at<unsigned char="">(0,0);  

for (int j = 0; j < dst->rows; j++) {              //finding max value of imageOut  
    for (int i = 0; i < dst->cols; i++) {  
        if (dst->at<unsigned char="">(j,i) > maxValue)  
            maxValue = dst->at<unsigned char="">(j,i);  
    }  
}  
float knorm = 255.0 / maxValue;  

for (int j = 0; j < dst->rows; j++) {             //normalization of imageOut  
    for (int i = 0; i < dst->cols; i++) {  
        dst->at<unsigned char="">(j,i) = lroundf(dst->at<unsigned char="">(j,i)*knorm);  
    }  
}