从 8 个相连像素的列表中提取片段

Question

当前情况：我正在尝试从图像中提取片段。感谢 openCV 的 findContours() 方法，我现在拥有每个轮廓的 8 个连接点的列表。然而，这些列表不能直接使用，因为它们包含大量重复项。

问题：给定一个8连接点的列表，其中可以包含重复项，从中提取段。

可能的解决方案：

• 首先，我使用openCV的approxPolyDP( ） 方法。然而，结果很糟糕......这是缩放轮廓：

这是<的结果code>approxPolyDP(): (9 段！有些重叠)

但我想要的是更像是：

这很糟糕，因为 approxPolyDP() 可以将“看起来像几个片段”的内容转换为“几个部分”。然而，我所拥有的是一个往往会自我迭代多次的点列表。

例如，如果我的点是：

0 1 2 3 4 5 6 7 8 
  9   

那么，点列表将为 0 1 2 3 4 5 6 7 8 7 6 5 4 3 2 1 9... 如果点的数量变为大（> 100），那么不幸的是，由 approxPolyDP() 提取的段不是重复的（即：它们彼此重叠，但并不严格相等，所以我不能只是例如，说“删除重复项”，而不是像素）

• 也许，我有一个解决方案，但它很长（虽然很有趣）。首先，对于所有 8 连接列表，我创建一个稀疏矩阵（为了提高效率），如果像素属于该列表，则将矩阵值设置为 1。然后，我创建一个图表，其中节点对应于像素，边缘位于相邻像素之间。这也意味着我添加像素之间的所有缺失边缘（复杂性很小，可能是因为稀疏矩阵）。然后我删除所有可能的“方块”（4个相邻节点），这是可能的，因为我已经在处理非常薄的轮廓。然后我可以启动最小生成树算法。最后，我可以用 openCV 的 approxPolyDP() 来近似树的每个分支 总结

一下：我有一个繁琐的方法，但我尚未实现，因为它似乎容易出错。然而，我问你们，Stack Overflow 的人们：是否还有其他现有的方法，可能有很好的实现？

---

编辑：澄清一下，一旦我有一棵树，我就可以提取“分支”（分支从链接到 3 个或更多其他节点的叶子或节点开始）然后，openCV 的 approxPolyDP() 中的算法是Ramer–Douglas–Peucker算法，这是它的作用的维基百科图片：

有了这张图片，它很容易理解为什么当点可能彼此重复时它会失败

---

另一个编辑：在我的方法中，有一些可能值得注意的事情。当您考虑位于网格中的点（如像素）时，通常，最小生成树算法没有用，因为有许多可能的最小生成树与最小生成树

X-X-X-X
|
X-X-X-X

本质上非常不同

X-X-X-X
| | | |
X X X X

，但两者都是最小生成树

但是，在我的情况下，我的节点很少形成簇，因为它们应该是轮廓，并且已经在 findContours() 中预先运行了细化算法。

---

回答 Tomalak 的评论：

如果 DP 算法返回 4 个段（从点 2< /code> 到中心两次）我会很高兴！当然，通过良好的参数，我可以达到“偶然”拥有相同段的状态，并且可以删除重复项。然而，很明显，该算法并不是为此而设计的。

这是一个包含太多段的真实示例：

Answer 1

使用 Mathematica 8，我根据图像中的白色像素列表创建了形态图。它在您的第一张图像上运行良好：

创建形态图：

graph = MorphologicalGraph[binaryimage];

然后您可以查询您感兴趣的图属性。

这给出了图中顶点的名称：

vertex = VertexList[graph]

边的列表：

EdgeList[graph]

给出了顶点的位置：

pos = PropertyValue[{graph, #}, VertexCoordinates] & /@ vertex

这就是第一张图像的结果：

In[21]:= vertex = VertexList[graph]

Out[21]= {1, 3, 2, 4, 5, 6, 7, 9, 8, 10}

In[22]:= EdgeList[graph]

Out[22]= {1 \[UndirectedEdge] 3, 2 \[UndirectedEdge] 4,  3 \[UndirectedEdge] 4, 
          3 \[UndirectedEdge] 5, 4 \[UndirectedEdge] 6,  6 \[UndirectedEdge] 7, 
          6 \[UndirectedEdge] 9, 8 \[UndirectedEdge] 9,  9 \[UndirectedEdge] 10}

In[26]:= pos = PropertyValue[{graph, #}, VertexCoordinates] & /@ vertex

Out[26]= {{54.5, 191.5}, {98.5, 149.5},  {42.5, 185.5}, 
          {91.5, 138.5}, {132.5, 119.5}, {157.5, 72.5},
          {168.5, 65.5}, {125.5, 52.5},  {114.5, 53.5}, 
          {120.5, 29.5}}

给定文档， http://reference.wolfram.com/mathematica/ref/MorphologicalGraph.html，先命令MorphologicalGraph通过形态细化计算骨架：

skeleton = Thinning[binaryimage, Method -> "Morphological"]

然后检测顶点；它们是分支点和终点：

verteximage = ImageAdd[
                  MorphologicalTransform[skeleton, "SkeletonEndPoints"],   
                  MorphologicalTransform[skeleton, "SkeletonBranchPoints"]]

然后在分析其连通性后将顶点链接起来。

例如，可以首先破坏顶点周围的结构，然后查找连接的组件，从而显示图的边缘：

comp = MorphologicalComponents[
           ImageSubtract[
               skeleton, 
               Dilation[vertices, CrossMatrix[1]]]];
Colorize[comp] 

细节决定成败，但如果您希望开发自己的实现，这听起来像是一个坚实的起点。

Answer 2

尝试数学形态学。首先，您需要放大或闭合图像来填补漏洞。

cvDilate(pimg, pimg, NULL, 3);
cvErode(pimg, pimg, NULL);

我得到了这张图片

下一步应该是应用 细化算法。不幸的是，它没有在 OpenCV 中实现（MATLAB 有 bwmorph 和 thin 参数）。例如，使用 MATLAB，我将图像细化为以下图像：

但是 OpenCV 有实现细化所需的所有基本形态学操作（cvMorphologyEx、cvCreateStructuringElementEx 等）。

另一个想法。

他们说距离变换似乎在此类任务中非常有用。可能是这样。
考虑 cvDistTransform 函数。它创建这样的图像：

然后使用类似 cvAdaptiveThreshold 的内容：

< img src="https://i.sstatic.net/hjyeu.jpg" alt="在此处输入图像描述">

这是骨架。我想你可以迭代所有连接的白色像素，找到曲线并过滤掉小片段。

Answer 3

我以前实现过类似的算法，并且是采用增量最小二乘方式实现的。效果相当好。伪代码有点像：

L = empty set of line segments
for each white pixel p
  line = new line containing only p
  C = empty set of points
  P = set of all neighboring pixels of p
  while P is not empty
    n = first point in P
    add n to C
    remove n from P
    line' = line with n added to it
    perform a least squares fit of line'
    if MSE(line) < max_mse and d(line, n) < max_distance
      line = line'
      add all neighbors of n that are not in C to P
  if size(line) > min_num_points
    add line to L

其中 MSE(line) 是线的均方误差（线中所有点到最佳拟合线的平方距离的总和），d(line,n) 是从点 n 到直线。 max_distance 的良好值似乎是一个像素左右，而 max_mse 似乎要小得多，并且取决于图像中线段的平均大小。对我来说，0.1 或 0.2 像素可以处理相当大的图像。

我一直在用 Canny 算子预处理的实际图像上使用它，所以我得到的唯一结果就是这样。这是上述算法在图像上的结果：

也可以使算法更快。我的 C++ 实现（由于我的工作强制封闭源代码，抱歉，否则我会把它给你）在大约 20 毫秒内处理了上面的图像。这包括应用 Canny 算子进行边缘检测，因此在您的情况下它应该更快。

Answer 4

您可以首先使用 openCV 提供的 HoughLinesP 从轮廓图像中提取直线：

HoughLinesP(InputArray image, OutputArray lines, double rho, double theta, int threshold, double minLineLength = 0, double maxLineGap = 0)  

如果您选择 threshold = 1 且 minLineLenght 小，您甚至可以获得所有单个元素。但要小心，因为如果有很多边缘像素，它会产生很多结果。