使用关键点特征匹配 +用于拉直文档的单应性 (Aadhaar)

Question

您好，我正在尝试创建一个 OCR，其​​中模型应该能够读取上传的文档。然而，很多时候，上传的文件是歪斜或倾斜的。我计划根据模板拉直文档和/或调整文档大小。

为了实现这一目标，我打算使用特征映射和单应性。然而，每当我计算关键点和描述符（使用 ORB），并尝试使用强力匹配来匹配它们时，似乎没有一个特征匹配。这是我迄今为止使用的代码及其结果。如果我遗漏了某些东西或以某种不正确的方式做事，有人可以指出我正确的方向吗？

def straighten_image(ORIG_IMG, IMG2):
    # read both the images:
    orig_image = cv2.imread(ORIG_IMG)
    img_input = cv2.imread(IMG2)
    
    orig_gray_scale = cv2.cvtColor(orig_image, cv2.COLOR_BGR2GRAY)
    gray_scale_img = cv2.cvtColor(img_input, cv2.COLOR_BGR2GRAY)
    
    #Detect ORB features and compute descriptors
    MAX_NUM_FEATURES = 100
    orb = cv2.ORB_create(MAX_NUM_FEATURES)
    keypoints1, descriptors1 = orb.detectAndCompute(orig_gray_scale, None)
    keypoints2, descriptors2= orb.detectAndCompute(gray_scale_img, None)
    
    #display image with keypoints
    orig_wid_decriptors = cv2.drawKeypoints(orig_gray_scale, keypoints1, outImage = np.array([]), color= (255, 0, 0), flags= cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
    inp_wid_decriptors = cv2.drawKeypoints(img_input, keypoints2, outImage = np.array([]), color= (255, 0, 0), flags= cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)

    #Match features
    
    matcher = cv2.DescriptorMatcher_create(cv2.DESCRIPTOR_MATCHER_BRUTEFORCE_HAMMING)
    matches = matcher.match(descriptors1, descriptors2, None)
    
    print(type(matches))
    
    #sort matches
#     matches.sort(key=lambda x: x.distance, reverse=False)
    
    
    #Remove not-so-good matches
    numGoodMatches = int(len(matches)*0.1)
    matches = matches[:numGoodMatches]
    
    #Draw Top matches
    im_matches = cv2.drawMatches(orig_gray_scale, keypoints1, gray_scale_img, keypoints2, matches, None)
    
    cv2.imshow("", im_matches)
    cv2.waitKey(0)
    
    #Homography
    points1 = np.zeros((len(matches), 2), dtype = np.float32)
    points2 = np.zeros((len(matches), 2), dtype = np.float32)
    
    for i, match in enumerate(matches):
        points1[i, :] = keypoints1[match.queryIdx].pt
        points2[i, :] = keypoints2[match.trainIdx].pt
        
    #Find homography:
    h, mask = cv2.findHomography(points2, points1, cv2.RANSAC)
    
    #Warp image
    # Use homography to warp image
    height, width = orig_gray_scale.shape
    inp_reg = cv2.warpPerspective(gray_scale_img, h, (width, height), borderValue = 255)
    
    return inp_reg


import cv2
import matplotlib.pyplot as plt
import numpy as np
template = "template_aadhaar.jpg"
test = "test.jpeg"

str_img = straighten_image(template, test)

cv2.imshow("", str_img)
cv2.waitKey(0)

编辑：如果我使用我自己的身份证（完全笔直）作为模板，并尝试对齐倾斜的同一张身份证，它匹配特征并完美地重新对齐倾斜的图像。但是，我需要模型能够根据模板重新对齐任何其他 ID 卡。对于任何 ID，我的意思是细节可能不同，但位置和字体将完全相同。

编辑#2：按照@Olli 的建议，我尝试使用仅包含所有 Aadhaar 卡相同功能的模板。附图片。但特征匹配仍然有点随意。

Answer 1

特征映射尝试检测图像上最重要的特征并尝试匹配它们。仅当功能确实相同时这才有效。如果功能相似但不同，就会失败。

如果您有一些始终相同的功能（例如左上角的徽标），您可以尝试创建一个仅包含这些功能的模板，并在所有其他区域中留空，即删除人物、姓名和二维码，然后...

但是因为差异更多（“图像上的绿色区域内的印度政府，以及上面的其他图像，...）而不是相似之处，我会尝试根据角和/或边缘找到旋转形状。
例如：

• 转换为灰度
• 执行canny边缘检测
• 检测角点，例如使用cv2.goodFeaturesToTrack。如果某些角被隐藏，请尝试使用霍夫线找到边。
• 反扭曲

如果某些图像在反扭曲后旋转了 90、180 或 270 度，您可以使用滤镜找到橙色和绿色区域并旋转，使该区域再次位于顶部。