使用任意已知的几何关系计算单应矩阵

Question

我正在使用 OpenCV 作为光学测量系统。我需要在数码相机拍摄的两个图像之间进行透视变换。在相机的视野中，我放置了一组标记（位于公共平面上），我将其用作两个图像中的对应点。使用标记的位置我可以计算单应性矩阵。问题是，我实际上想要变换其图像的测量对象位于距标记很近的位置，并且与标记平面平行。我可以测量这个距离。

我的问题是，在计算单应矩阵时如何考虑该距离，这是执行透视变换所必需的。

在我的解决方案中，强烈要求不要使用测量的对象点来计算单应性（这就是为什么我需要在视野中使用其他标记）。

如果描述不准确，请告诉我。

图中呈现的是示例图像。

红色矩形为被测物体。它实际上放置在圆形标记后面一小段距离处。

我从不同相机的位置捕捉​​物体的图像。被测物体在每次采集之间可能会变形。使用圆形标记，我想将对象的图像转换为相同的坐标。我可以测量对象和标记之间的距离，但我不知道应该如何修改单应性矩阵才能处理测量对象（而不是标记）。

Answer 1

这个问题很老了，但是很有趣，并且可能对某人有用。

首先，这是我对问题中提出的问题的理解：

您有两张由同一台数码相机拍摄的图像 I₁ 和 I₂在两个不同的位置。这些图像都显示了一组标记，它们都位于一个公共平面 p_m 中。还有一个被测物体，其可见表面位于与标记平面平行但有较小偏移的平面 p_o 中。您计算了将 I₁ 中的标记位置映射到 I₂ 中相应标记位置的单应性 H^m₁₂您测量了平面 p_o 和 p_m 之间的偏移 d_mo。由此，您需要计算 I₁ 中测量对象上的单应性 H^o₁₂ 映射点到 I< 中的相应点子>2。

关于这个问题的几点说明：

首先，请注意，单应性是图像点之间的关系，而标记平面和对象平面之间的距离是世界坐标中的距离。使用后者来推断前者需要对相机姿势进行度量估计，即您需要确定欧几里得和高达比例 相对位置&两个图像中每个图像的相机方向。 欧几里德要求意味着必须校准数码相机，这对于“光学测量系统”来说不应该是问题。 按比例要求意味着必须知道两个给定 3D 点之间的真实 3D 距离。例如，您需要知道两个任意标记之间的真实距离 l₀。

由于我们只需要每个图像的相机的相对位姿，因此我们可以选择使用以相机坐标系为中心并对齐的 3D 坐标系，用于 I₁ 。因此，我们将 I₁ 的投影矩阵表示为 P₁ = K_{1 * [ I | 0]。然后，我们将 I2（在同一 3D 坐标系中）的投影矩阵表示为 P2 = K2 * [ R2 | t2]。我们还将分别用 D1 和 D2 表示 I1 和 I2 的镜头畸变建模系数。}

由于单个数码相机同时采集了 I₁ 和 I₂，您可以假设 K_{1 = K2 = K 且 D1 = D2 = D。但是，如果 I1 和 I2 是通过以下方式获取的采集之间的长时间延迟（或使用不同的变焦等），考虑到这一点会更准确涉及两个不同的相机矩阵和两组畸变系数。}

解决此类问题的方法如下：

估计 P₁ 和 P₂ 的步骤如下：

1. 估计K_{1、K2 和 D1、D2 通过数码相机校准}

2. 使用 D₁ 和 D₂ 进行校正图像 I₁ 和 I₂ 进行镜头畸变，然后确定校正图像中的标记位置

3. 计算基本矩阵 F₁₂（映射点在 I₁ 从相应的标记位置到 I₂ 中的表线）并推断基本矩阵 E₁₂ = K_{2^T * F12 * K1}

4. 推断来自 E₁₂ 的 R₂ 和 t₂ 以及一点对应（请参阅 此答案相关 问题）。此时，您对相机姿势有了一个仿射估计，但不是一个按比例估计，因为 t₂ 具有单位范数.

5. 使用两个任意标记之间测量的距离 l₀ 来推断 t₂ 的正确范数。

6. 为了获得最佳精度，您可以使用捆绑调整来细化 P₁ 和 P₂，其中 K_{1 和 ||t<子>2||固定，基于 I1 和 I2 中相应的标记位置。}

此时，您已经对相机姿势进行了准确的度量估计 P₁ = K_{1 * [ I | 0 ] 和 P2 = K2 * [ R2 | t2]。现在，估计 H^o12 的步骤如下：}

7. 使用 D₁ 和 D₂校正图像 I₁ 和 I₂ 的镜头畸变，然后确定校正图像中的标记位置（与上面 2. 相同，无需重新执行）并估计H^m₁₂ 从这些相应位置

8. 通过求解以下线性方程来计算描述标记平面 p_m 的 3x1 向量 v：Z * H^m₁₂ = K<子>2 * ( R₂ - t₂ * v^T ) * K_{1< support>-1（参见 HZ00第 13 章，结果 13.5 和方程 13.2（供参考），其中 Z 是比例因子。推断到原点的距离 dm = ||v||和法线 n = v / ||v||，它在 3D 中描述标记平面 pm。}

9. 由于物平面 p_o 与 p_m 平行，因此它们具有相同的法线 n。因此，您可以从 p_m 到原点 d_m 的距离推断出 p_o 到原点 d_o 的距离sub> 和距测量平面的偏移 d_mo，如下所示： d_o = d_m ± d_mo （符号取决于平面的相对位置：如果为正，则对于 I₁，p_m 比 p_o 更靠近相机，否则为负）。

10. 根据 3D 中描述物平面的 n 和 d_o，推断出单应性 H^o₁₂ = K_{2 * ( R2 - t2 * n^T / do ) * K1^-1（参见 HZ00 第 13 章，方程 13.2）}

11. 单应性 H^o₁₂ 将 I₁ 中被测物体上的点映射到 I₂ 中的对应点，其中两者假设 I₁ 和 I₂ 已针对镜头畸变进行校正。如果您需要将点映射到原始扭曲图像，请不要忘记使用扭曲系数 D₁ 和 D₂ 来变换输入和输出点H^o₁₂。

我使用的参考文献：

[HZ00]“计算机视觉的多视图几何”，R.Hartley 和 A.Zisserman，2000 年。