使用给定的校准文件将视差图转换为深度图

Question

我有一对立体声图像，我为它们计算了差异图像。现在，我需要将此差距转换为深度图。我发现了这一点

depth = (baseline * focal length) / disparity)

，但我不知道如何找到基线，焦距和差异的值。 这是给出的校准文件。

calib_time: 09-Jan-2012 13:57:47
corner_dist: 9.950000e-02
S_00: 1.392000e+03 5.120000e+02
K_00: 9.842439e+02 0.000000e+00 6.900000e+02 0.000000e+00 9.808141e+02 2.331966e+02 0.000000e+00 0.000000e+00 1.000000e+00
D_00: -3.728755e-01 2.037299e-01 2.219027e-03 1.383707e-03 -7.233722e-02
R_00: 1.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00 1.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00 1.000000e+00
T_00: 2.573699e-16 -1.059758e-16 1.614870e-16
S_rect_00: 1.242000e+03 3.750000e+02
R_rect_00: 9.999239e-01 9.837760e-03 -7.445048e-03 -9.869795e-03 9.999421e-01 -4.278459e-03 7.402527e-03 4.351614e-03 9.999631e-01
P_rect_00: 7.215377e+02 0.000000e+00 6.095593e+02 0.000000e+00 0.000000e+00 7.215377e+02 1.728540e+02 0.000000e+00 0.000000e+00 0.000000e+00 1.000000e+00 0.000000e+00
S_01: 1.392000e+03 5.120000e+02
K_01: 9.895267e+02 0.000000e+00 7.020000e+02 0.000000e+00 9.878386e+02 2.455590e+02 0.000000e+00 0.000000e+00 1.000000e+00
D_01: -3.644661e-01 1.790019e-01 1.148107e-03 -6.298563e-04 -5.314062e-02
R_01: 9.993513e-01 1.860866e-02 -3.083487e-02 -1.887662e-02 9.997863e-01 -8.421873e-03 3.067156e-02 8.998467e-03 9.994890e-01
T_01: -5.370000e-01 4.822061e-03 -1.252488e-02
S_rect_01: 1.242000e+03 3.750000e+02
R_rect_01: 9.996878e-01 -8.976826e-03 2.331651e-02 8.876121e-03 9.999508e-01 4.418952e-03 -2.335503e-02 -4.210612e-03 9.997184e-01
P_rect_01: 7.215377e+02 0.000000e+00 6.095593e+02 -3.875744e+02 0.000000e+00 7.215377e+02 1.728540e+02 0.000000e+00 0.000000e+00 0.000000e+00 1.000000e+00 0.000000e+00
S_02: 1.392000e+03 5.120000e+02
K_02: 9.597910e+02 0.000000e+00 6.960217e+02 0.000000e+00 9.569251e+02 2.241806e+02 0.000000e+00 0.000000e+00 1.000000e+00
D_02: -3.691481e-01 1.968681e-01 1.353473e-03 5.677587e-04 -6.770705e-02
R_02: 9.999758e-01 -5.267463e-03 -4.552439e-03 5.251945e-03 9.999804e-01 -3.413835e-03 4.570332e-03 3.389843e-03 9.999838e-01
T_02: 5.956621e-02 2.900141e-04 2.577209e-03
S_rect_02: 1.242000e+03 3.750000e+02
R_rect_02: 9.998817e-01 1.511453e-02 -2.841595e-03 -1.511724e-02 9.998853e-01 -9.338510e-04 2.827154e-03 9.766976e-04 9.999955e-01
P_rect_02: 7.215377e+02 0.000000e+00 6.095593e+02 4.485728e+01 0.000000e+00 7.215377e+02 1.728540e+02 2.163791e-01 0.000000e+00 0.000000e+00 1.000000e+00 2.745884e-03
S_03: 1.392000e+03 5.120000e+02
K_03: 9.037596e+02 0.000000e+00 6.957519e+02 0.000000e+00 9.019653e+02 2.242509e+02 0.000000e+00 0.000000e+00 1.000000e+00
D_03: -3.639558e-01 1.788651e-01 6.029694e-04 -3.922424e-04 -5.382460e-02
R_03: 9.995599e-01 1.699522e-02 -2.431313e-02 -1.704422e-02 9.998531e-01 -1.809756e-03 2.427880e-02 2.223358e-03 9.997028e-01
T_03: -4.731050e-01 5.551470e-03 -5.250882e-03
S_rect_03: 1.242000e+03 3.750000e+02
R_rect_03: 9.998321e-01 -7.193136e-03 1.685599e-02 7.232804e-03 9.999712e-01 -2.293585e-03 -1.683901e-02 2.415116e-03 9.998553e-01
P_rect_03: 7.215377e+02 0.000000e+00 6.095593e+02 -3.395242e+02 0.000000e+00 7.215377e+02 1.728540e+02 2.199936e+00 0.000000e+00 0.000000e+00 1.000000e+00 2.729905e-03

Answer 1

我给你两个答案。第一个是学术。

在您的数据中（不确定它来自何处），我将每行与第一个字母区分开：
S =图像大小
k =内在的摄像机矩阵（3x3）
D =失真系数
R =旋转矩阵（3x4）
t =翻译向量（3x1），

似乎我们这里有4个摄像机，所以不确定。这取决于您要理解。无论如何，鉴于上面的数据，您可以计算空间中的摄像头中心。对于第一个相机：

C_00 = - R_00 。 t_00

在哪里。代表点产品。对另一台相机做同样的操作，然后基线仅仅是两个相机中心之间的距离。

焦距已经存在：固有矩阵的元素（0,0）是x轴上 fx 焦距。元素（1,1）在y轴上是 fy 焦距。
为什么要两个焦距？？？您会看到它们确实非常相似，但是差异反映了相机镜头的不完美。

那么，您如何获得深度？？？在这里，我得到了较少的学术答案。
在实践中，您必须遵循此过程：

1. 校准两个摄像机（使用度量单元）
2. 拍摄图片
3. 未交换图像（使用您的D_00系数正确镜头失真）
4. 校正图像（什么是纠正？您可以检查）。在此步骤之后，左和右图像看起来像是由仅沿x移动的同一相机拍摄的。
5. 应用公式计算深度。但是，由于您具有FX和FY，但还具有相机矩阵的剪切因子（元素（0,1））和主要点移位（元素（0,2）和（1,2），相机矩阵），该公式比您建议的公式略有复杂。
   因此，我建议使用openCV并使用函数cv2.reprojectimageto3d，计算Q矩阵完成为完成__init __。py＃l503“ rel =“ nofollow noreferrer”>在这里。

您可以找到一个有效的示例，可以从图像到深度图，最后到深度（点云），在这里。

我希望这给您一个起点。
干杯。