使用 OpenCV 进行水平线检测

Question

我试图从来自“文档”的图像中找到水平线和垂直线。这些文档是合同的扫描页面，因此这些行看起来就像您在表格或合同块中看到的那样。

我一直在尝试 OpenCV 来完成这项工作。 OpenCV 中的霍夫变换实现似乎对这项工作很有用，但我找不到任何参数组合可以让它干净地找到垂直线和水平线。我尝试过使用和不使用边缘检测。运气不好。如果有人做过类似的事情，我有兴趣知道如何做。

请参阅我在 OpenCV 中使用 HoughP 进行实验之前和之后的图像。这是我能做的最好的事情，http://dl.dropbox.com/u/ 3787481/Untitled%201.png

所以现在我想知道是否有另一种变换可以使用，它可以让我可靠地找到水平线和垂直线（最好是虚线） 也）。

我知道这个问题是可以解决的，因为我有 Nuance 和 ABBYY OCR 工具，它们都可以可靠地提取水平线和垂直线，并返回线条的边界框。

谢谢！ 帕特里克.

Answer 1

您是否看过 中的代码示例HoughLinesP 函数文档？

我认为你可以用它作为你的算法的起点。要选择水平线和垂直线，您只需按线角度过滤掉其他线即可。

更新：

据我所知，您需要的不是线条，而是页面上的水平和垂直边缘。对于此任务，您需要结合多个处理步骤才能获得良好的结果。

对于您的图像，我可以通过将 Canny 边缘检测与 HoughLinesP 相结合来获得良好的结果。这是我的代码（我使用过 python，但我想你明白了这个想法）：

img = cv2.imread("C:/temp/1.png")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
edges = cv2.Canny(gray, 80, 120)
lines = cv2.HoughLinesP(edges, 1, math.pi/2, 2, None, 30, 1);
for line in lines[0]:
    pt1 = (line[0],line[1])
    pt2 = (line[2],line[3])
    cv2.line(img, pt1, pt2, (0,0,255), 3)
cv2.imwrite("C:/temp/2.png", img)

结果看起来像：

Answer 2

这是使用形态学运算的完整 OpenCV 解决方案。

• 获取二值图像
• 创建水平内核并检测水平线
• 创建垂直内核并检测垂直线

---

这是该过程的可视化。使用此输入图像：

二进制图像

import cv2

# Load image, convert to grayscale, Otsu's threshold
image = cv2.imread('1.png')
result = image.copy()
gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]

检测到的水平线以绿色突出显示

# Detect horizontal lines
horizontal_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (40,1))
detect_horizontal = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, horizontal_kernel, iterations=2)
cnts = cv2.findContours(detect_horizontal, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    cv2.drawContours(result, [c], -1, (36,255,12), 2)

检测到的垂直线以绿色突出显示

# Detect vertical lines
vertical_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (1,10))
detect_vertical = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, vertical_kernel, iterations=2)
cnts = cv2.findContours(detect_vertical, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    cv2.drawContours(result, [c], -1, (36,255,12), 2)

结果

这是使用另一个输入图像的输出

输入 -> 二进制 -> 检测到水平 -> 检测到垂直-> 结果

---

注意： 根据图像的不同，您可能需要修改内核大小。例如，要捕获较长的水平线，可能需要将水平内核从 (40, 1) 增加到 (80, 1)。如果您想检测较粗的水平线，则可以增加内核的宽度，即 (80, 2)。此外，您可以在执行cv2.morphologyEx()时增加迭代次数。同样，您可以修改垂直内核以检测更多或更少的垂直线。增加或减少内核大小时需要权衡，因为您可能会捕获更多或更少的行。同样，这一切都取决于输入图像

完整代码的完整性

import cv2

# Load image, convert to grayscale, Otsu's threshold
image = cv2.imread('1.png')
result = image.copy()
gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]

# Detect horizontal lines
horizontal_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (40,1))
detect_horizontal = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, horizontal_kernel, iterations=2)
cnts = cv2.findContours(detect_horizontal, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    cv2.drawContours(result, [c], -1, (36,255,12), 2)

# Detect vertical lines
vertical_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (1,10))
detect_vertical = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, vertical_kernel, iterations=2)
cnts = cv2.findContours(detect_vertical, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    cv2.drawContours(result, [c], -1, (36,255,12), 2)

cv2.imshow('result', result)
cv2.waitKey()

Answer 3

如果您只想要“线”而不是“线段”，我会避免使用 Canny、Hough、FindContours 或任何其他此类函数，以防您希望代码速度更快。如果你的图像没有旋转，并且你想要找到的总是垂直或水平的，我只会使用 cv::Sobel （一个用于垂直，另一个用于水平）并为列和行创建累积数组。然后，您可以在此类累积或轮廓中搜索最大值，例如通过设置阈值，您将知道其中存在垂直或水平边缘线的行或列。

Answer 4

您可能会考虑保留霍夫线检测，因为此方法寻找“全局”线，而不一定是线段。我最近实现了一个识别“平行四边形”的应用程序 - 本质上是可以旋转的正方形，并且由于视角而使透视缩短。您可能会考虑类似的事情。我的流程是：

1. 从 RGB 转换为灰度 (cvCvtColor)
2. 平滑 (cvSmooth)
3. 阈值 (cvThreshold)
4. 检测边缘 (cvCanny)
5. 查找轮廓 (cvFindContours)
6. 具有线性特征的近似轮廓 (cvApproxPoly)

在您的应用程序中，生成的轮廓列表可能会很大（取决于平滑的“侵略性”和 Canny 边缘检测器的特征增强。您可以修剪该列表由各种参数组成：从轮廓查找器返回的点数、轮廓面积（cvContourArea）等。根据我的经验，我希望应用程序中的“有效”线具有明确定义的面积和顶点此外，您可以根据端点之间的距离、连接端点的线定义的角度等来过滤轮廓。

根据您拥有的 CPU“时间”，您始终可以将霍夫算法与像上面这样的算法稳健地识别水平线和垂直线。

Answer 5

不要将 RGB 转换为灰度。有时，RGB 中的不同颜色可以合并为相同的灰度值，因此可能会丢失一些轮廓。您应该分别分析每个 RGB 通道。

Answer 6

这是一种累积列和行数组的方法。然后，人们可以在此类累积中搜索最大值（高于某一阈值），并推断出哪一行或哪列存在垂直线或水平线。

如果您想快速测试代码，请使用以下 Google Colab Notebook。
Google Colab 笔记本

import numpy as np
import cv2
import scipy
from scipy.signal import find_peaks
from matplotlib import pyplot as plt

url = "https://i.sstatic.net/S00ap.png"
!wget $url -q -O input.jpg
fileName = 'input.jpg'
img = cv2.imread(fileName)
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

tmp = img.copy()
gray = cv2.cvtColor(tmp, cv2.COLOR_BGR2GRAY)
blurred = cv2.bilateralFilter(gray, 11, 61, 39)
edges = cv2.Canny(blurred, 0, 255)

v_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (1,3))
h_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (7,1))

v_morphed = cv2.morphologyEx(edges, cv2.MORPH_OPEN, v_kernel, iterations=2)
v_morphed = cv2.dilate(v_morphed, None)
h_morphed = cv2.morphologyEx(edges, cv2.MORPH_OPEN, h_kernel, iterations=2)
h_morphed = cv2.dilate(h_morphed, None)

v_acc = cv2.reduce(v_morphed, 0, cv2.REDUCE_SUM, dtype=cv2.CV_32S)
h_acc = cv2.reduce(h_morphed, 1, cv2.REDUCE_SUM, dtype=cv2.CV_32S)

def smooth(y, box_pts):
    box = np.ones(box_pts)/box_pts
    y_smooth = np.convolve(y, box, mode='same')
    return y_smooth

s_v_acc = smooth(v_acc[0,:],9) 
s_h_acc = smooth(h_acc[:,0],9) 

v_peaks, v_props = find_peaks(s_v_acc, 0.70*np.max(np.max(s_v_acc)))
h_peaks, h_props = find_peaks(s_h_acc, 0.70*np.max(np.max(s_h_acc)))

for peak_index in v_peaks:
    cv2.line(tmp, (peak_index, 0), (peak_index, img.shape[0]), (255, 0, 0),2)
for peak_index in h_peaks:
    cv2.line(tmp, (0, peak_index), (img.shape[1], peak_index), (0, 0, 255),2)
v_height = v_props['peak_heights'] #list of the heights of the peaks
h_height = h_props['peak_heights'] #list of the heights of the peaks

def align_axis_x(ax, ax_target):
    """Make x-axis of `ax` aligned with `ax_target` in figure"""
    posn_old, posn_target = ax.get_position(), ax_target.get_position()
    ax.set_position([posn_target.x0, posn_old.y0, posn_target.width, posn_old.height])

def align_axis_y(ax, ax_target):
    """Make y-axis of `ax` aligned with `ax_target` in figure"""
    posn_old, posn_target = ax.get_position(), ax_target.get_position()
    ax.set_position([posn_old.x0, posn_target.y0, posn_old.width, posn_target.height])

fig = plt.figure(constrained_layout=False, figsize=(24,16))
spec = fig.add_gridspec(ncols=4, nrows=2, height_ratios=[1, 1])
ax1 = fig.add_subplot(spec[0,0])
ax1.imshow(tmp)
ax2 = fig.add_subplot(spec[0, 1])
ax2.imshow(v_morphed)
ax3 = fig.add_subplot(spec[0, 2])
ax3.imshow(h_morphed)
ax4 = fig.add_subplot(spec[0, 3], sharey=ax3)
ax4.plot(h_acc[:,0], np.arange(len(h_acc[:,0])), 'y', marker="o", ms=1, mfc="k", mec="k")
ax4.plot(s_h_acc, np.arange(len(s_h_acc)), 'r', lw=1)
ax4.plot(h_height, h_peaks, "x", lw="5")
ax5 = fig.add_subplot(spec[1, 1], sharex=ax2)
ax5.plot(np.arange(len(v_acc[0,:])), v_acc[0,:], 'y', marker="o", ms=1, mfc="k", mec="k")
ax5.plot(np.arange(len(s_v_acc)), s_v_acc, 'r', lw=2)
ax5.plot(v_peaks, v_height, "x", lw="5")
plt.tight_layout()
align_axis_y(ax4,ax3)
align_axis_x(ax5,ax2)