如何使用openCV中的立体元素（）函数获得体面的精度

Question

我试图通过校准两个摄像机并使用立体校准函数来使用OpenCV Python库进行三角测量。我希望摄像机能够连接到杆的末端，并测量距离摄像头约5m的位置。大多数代码类似于batpurev使用的代码（来源：

当我使用自己的图像（通过GOPRO 10s的GPS）进行时间同步时，我平均大约50个。最初，我认为这是因为我在一个区域中进行了校准，但要闭上我的当前

校准方法 大约为50个： 从摄像头附近开始，没有棋盘从框架上驶出任何一个相机，慢慢地挥舞着木板。确保它沿着摄像机和中心的框架边缘运行，然后再向后移动并在各个深度重复它。

我尝试过的事情：

1. 增加棋盘方尺寸（48mm，61mm，109mm），
2. 增加了棋盘上棋盘上的行/柱数量
3. 更换照明条件
4. ，我使用脚本从视频中提取框架，所以我通常使用20 校准框架
5. +使用较小区域进行
6. 以三角剖分查看是否有一个零置的摄像头，而不是让摄像头平行
7. 检查FindchessboardCorner功能实际上找到了棋盘的角落，
8. 以确保棋盘在许多不同的位置（底角） ，顶角，每个相机的框架中心）
9. 在视频中向相机移动和远离相机。
10. 更改了标准和标准_Stereo变量，以查看是否更改了

我最近的视频的任何图像，即109mm正方形：

我的代码：我的代码

############### FIND CHESSBOARD CORNERS - OBJECT POINTS AND IMAGE POINTS #############################

chessboardSize = (8,5) # Other chessboard sizes used - (5,3) OR (9,6)

# Paths to the captured frames (should be in synch) (stereoLeft and stereoRight)
CALIBRATION_IMAGES_PATH_LEFT = 'images_vid\\stereoLeft\\*.png'
CALIBRATION_IMAGES_PATH_RIGHT = 'images_vid\\stereoRight\\*.png'

# termination criteria
criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 30, 0.001)

objp = np.zeros((chessboardSize[0] * chessboardSize[1], 3), np.float32) # creates 9*6 list of (0.,0.,0.)
objp[:,:2] = np.mgrid[0:chessboardSize[0],0:chessboardSize[1]].T.reshape(-1,2) # formats list with (column no., row no., 0.) where max column no. = 8, and max row no. = 5

size_of_chessboard_squares_mm = 109
objp = objp * size_of_chessboard_squares_mm

# Arrays to store object points and image points from all the images.
objpoints = [] # 3d point in real world space
imgpointsL = [] # 2d points in image plane.
imgpointsR = [] # 2d points in image plane.

imagesLeft = sorted(glob.glob(CALIBRATION_IMAGES_PATH_LEFT))
imagesRight = sorted(glob.glob(CALIBRATION_IMAGES_PATH_RIGHT))

for imgLeft, imgRight in zip(imagesLeft, imagesRight):
    
    imgL = cv.imread(imgLeft)
    imgR = cv.imread(imgRight)
    grayL = cv.cvtColor(imgL, cv.COLOR_BGR2GRAY)
    grayR = cv.cvtColor(imgR, cv.COLOR_BGR2GRAY)
            
    # Get the corners of the chess board
    retL, cornersL = cv.findChessboardCorners(grayL, chessboardSize, None)
    retR, cornersR = cv.findChessboardCorners(grayR, chessboardSize, None)

    # Add object points and image points if chess board corners are found        
    if retL and retR == True:

        objpoints.append(objp) 

        cornersL = cv.cornerSubPix(grayL, cornersL, (11,11), (-1,-1), criteria)
        imgpointsL.append(cornersL)

        cornersR = cv.cornerSubPix(grayR, cornersR, (11,11), (-1,-1), criteria)
        imgpointsR.append(cornersR)

        #Draw corners for user feedback
        cv.drawChessboardCorners(imgL, chessboardSize, cornersL, retL)
        cv.imshow('img left', imgL)
        cv.drawChessboardCorners(imgR, chessboardSize, cornersR, retR)
        cv.imshow('img right', imgR)
        cv.waitKey()


cv.destroyAllWindows()

############# CALIBRATION #######################################################

retL, cameraMatrixL, distL, rvecsL, tvecsL = cv.calibrateCamera(objpoints, imgpointsL, frameSize, None, None)
heightL, widthL, channelsL = imgL.shape
newCameraMatrixL, roi_L = cv.getOptimalNewCameraMatrix(cameraMatrixL, distL, (widthL, heightL), 1, (widthL, heightL))

retR, cameraMatrixR, distR, rvecsR, tvecsR = cv.calibrateCamera(objpoints, imgpointsR, frameSize, None, None)
heightR, widthR, channelsR = imgR.shape
newCameraMatrixR, roi_R = cv.getOptimalNewCameraMatrix(cameraMatrixR, distR, (widthR, heightR), 1, (widthR, heightR))

######### Stereo Vision Calibration #############################################
## stereoCalibrate Output: retStereo is RSME, newCameraMatrixL and newCameraMatrixR are the intrinsic matrices for both
                ## cameras, distL and distR are the distortion coeffecients for both cameras, rot is the rotation matrix,
                ## trans is the translation matrix, and essentialMatrix and fundamentalMatrix are self descriptive
                
# R and T are taken from stereoCalibrate to use in triangulation
header = ['Rotation','Translation', 'ProjectionLeft', 'ProjectionRight'] # for the csv file

flags = 0
flags = cv.CALIB_FIX_INTRINSIC

criteria_stereo= (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 100, 0.0001)

retStereo, newCameraMatrixL, distL, newCameraMatrixR, distR, rot, trans, essentialMatrix, fundamentalMatrix = cv.stereoCalibrate(objpoints, imgpointsL, imgpointsR, cameraMatrixL, distL, cameraMatrixR, distR, grayL.shape[::-1], criteria_stereo, flags)
print(retStereo)
print('stereo vision done')

有任何即时标志，我的代码或我的校准方法是否有什么？还是改进代码的建议？感谢您抽出宝贵的时间帮助我:)

Answer 1

我尝试了您的图像代码，并获得了RSME = 0.6202543526131407。因此，您发布的代码似乎正常。

首先，我注意到灯或您用作校准板的屏幕上可见的任何反射。这可能会使FindchessboardCorners功能感到困惑。
我不是使用屏幕来渲染校准模式的忠实拥护者，因为屏幕是有光泽的，并且分辨率仅限于屏幕的分辨率。我建议购买下降校准板。可以在此处找到好的， https://calib.io/ 。

其次，使用校准板更靠近相机。越接近，越多的细节就可以看到，校准越好。

第三，将图像从左和右相机中删除，然后渲染它们以查看固有参数是否正确。