[Perception] 카메라 캘리브레이션 실습 (camera calibration): opencv, intrinsic, extrinsic, checker(chess) board 활용

💡 본 문서는 '[Perception] 카메라 캘리브레이션 실습 (camera calibration): intrinsic, checker(chess) board 활용'에 대해 정리해놓은 글입니다.
Checker board를 활용하여 Intrinsic Metrix를 구하기 위해 사용했던 코드 및 return값에 대해 정리하였으니 참고하시기 바랍니다.

Intrinsic Metrix(K) 전체 코드

import numpy as np
import cv2 as cv
import glob

wc = 8 - 1
hc = 5 - 1
square_size = 70     # QHD 7cm
square_size = 52.5   # FHD 5.25cm

# termination criteria
criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 30, 0.001)
# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)
objp = np.zeros((wc*hc,3), np.float32)
objp[:,:2] = np.mgrid[0:wc,0:hc].T.reshape(-1,2)*square_size # square_size unit [mm]
# Arrays to store object points and image points from all the images.
objpoints = [] # 3d point in real world space
imgpoints = [] # 2d points in image plane.

dataset = "/home/avs/dataset/blackbox_intrinsic/QHD/"
images = glob.glob(dataset + '*.jpg')

for fname in images:
    img = cv.imread(fname)
    gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
    # Find the chess board corners
    ret, corners = cv.findChessboardCorners(gray, (wc,hc), None)
    # If found, add object points, image points (after refining them)
    if ret == True:
        objpoints.append(objp)
        corners2 = cv.cornerSubPix(gray,corners, (11,11), (-1,-1), criteria)
        imgpoints.append(corners)
        # Draw and display the corners
        cv.drawChessboardCorners(img, (wc,hc), corners2, ret)
        print(fname)
        # cv.imshow('img', img)
        # cv.waitKey(1000)

cv.destroyAllWindows()

ret, mtx, dist, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)

print(ret, mtx, dist,rvecs,tvecs,sep='\n')

Intrinsic Metrix 부분 설명

calibration metrix를 구하기 위해서는 대게 chess board 코너의 Width, Height와 chess board square size를 파라미터로 넣어주면 됩니다. 위 코드에서는 아래와 같이 가로의 사각형 개수인 8개, 세로 사각형 개수인 5개 사이의 internal 코너의 개수를 구하기 위해서 1씩 빼줌으로서 넣어주었습니다. 또한 chess board square size는 실제 크기를 구한 후 mm 단위로 넣어주어 3차원 변환시 사용합니다.

wc = 8 - 1
hc = 5 - 1
square_size = 70     # QHD 7cm
...
objp[:,:2] = np.mgrid[0:wc,0:hc].T.reshape(-1,2)*square_size # square_size unit [mm]

이후의 코드는 그대로 넣어주면되며, 결과 값으로 뽑히는 값들을 분석해보겠습니다.

ret, mtx, dist, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)

cv.calibrateCamera() which returns the camera matrix, distortion coefficients, rotation and translation vectors etc.

• retval: average re-projection error. This number gives a good estimation of precision of the found parameters. This should be as close to zero as possible.
• camera matrix(mtx): intrinsic parameters of the camera
• distortion coefficients(dist): radial and tangential distortion parameters (k1, k2, p1, p2, k3)
• rotation and translation vectors(rvecs, tvecs): extrinsic parameters of the camera

추가로 retval 의 경우, parameter를 얼마나 잘 추정했는지를 나타내며, rms 값이 1일 경우 3D chess board point를 2D에 투영했을 때 image point와 비교하여 평균적으로 1.0px가 차이가 나는 것을 의미합니다. 따라서 0에 가까울수록 좋은 값이며, 대게 [0,1] 사이의 값을 갖는다고 합니다. 

참고

• [opencv] Camera Calibration: https://docs.opencv.org/4.x/dc/dbb/tutorial_py_calibration.html
• [opencv] Camera calibration With OpenCV(retval): https://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html
• [stackoverflow] Meaning of the retval return value in cv2.CalibrateCamera: https://stackoverflow.com/questions/29628445/meaning-of-the-retval-return-value-in-cv2-calibratecamera
• [stackoverflow] Camera Calibration with OpenCV - How to adjust chessboard square size?: https://stackoverflow.com/questions/37310210/camera-calibration-with-opencv-how-to-adjust-chessboard-square-size