정확한 영상기반 항법 시스템의 운용을 위해서는 카메라의 장착 각도가 기준 좌표계에 대해 정밀하게 정렬되어야 한다. 특히 카메라 좌표계의 z축을 중심으로 회전이 발생하는 경우 획득되는 영상은 수 평선 이나 패턴과 같은 시각적 기준이 기울어진 상태로 나타나며 이는 영상 기반 자세 추정의 정확도를 저하 시킬 수 있다. 또한 영상과 Inertial Measurement Unit (IMU)를 함께 사용하는 영상-관성 항법 시스 템의 경우 카메라와 IMU간의 외부 파라미터를 추정해야 한다. 그러나 센서의 탈부착 과정에서 장착 편차로 인하여 추정된 외부 파라미터는 매번 다른 값을 가지기 때문에 일관성을 확보하기 어렵다. 이에 따 라 본 논문에서는 카메라 캘리브레이션에서 널리 활용되는 체커보드 패턴을 이용해 카메라의 장착 각도를 실시간으로 추정하고 시각적인 피드백을 제공받을 수 있도록 하였다. 구체적으로 카메라의 회전 각도 를 조절하여 카메라의 roll 오프셋 값이 설정된 임계 값 이하로 감소할 경우 정렬 완료 여부를 시각적으로 확인할 수 있도록 하였다. 실험 결과, 제안하는 방식은 카메라의 장착 각도를 정확하게 인식하여 사 용자에게 시각적인 피드백을 제공할 뿐만 아니라 카메라-IMU 간의 외부 파라미터를 나타내는 roll 오프셋도 감소 시킬 수 있음을 확인하였다.

Real-Time Estimation of Camera Angles for Misalignment Correction

Hyun-Seup Cho*, Sang-Chan Moon, Kang-Hyun Hwang, Tae-Hoon Lee, Hyun-Wook Hong, Tae-Dong Ahn, Juhyun Oh, Chang-Ky Sung

To ensure reliable operation of a vision-based navigation system, the camera must be precisely aligned with the reference coordinate system during installation. In particular, when the camera’s z-axis can cause the captured image to show tilted visual references such as horizontal lines or patterns, which degrades the accuracy of vision-based pose estimation. Moreover, in visual-inertial navigation systems that incorporating visual and Inertial Measurement Unit (IMU) data, it is necessary to estimate the extrinsic parameters between the camera and the IMU. However, if the sensor alignment varies during the mounting and detachment process, the estimated extrinsic parameters will differ each time, making it difficult to maintain consistency. To address this, this paper uses a checkerboard pattern widely used in camera calibration to estimate the mounting angle of the camera in real time and provide visual feedback to the user. Specifically, by manually adjusting the camera's rotation, the z-axis rotation angle of the camera coordinate system is monitored. When this z-axis rotation angle falls below a predetermined threshold, the user can visually confirm that the alignment is complete. Experimental results show that the method proposed in this paper accurately detects the camera's mounting angle and provides visual feedback, while also reducing the z-axis rotation error in the extrinsic parameters between the camera and IMU.

Keywords: camera misalignment, mounting adjustment, pose estimation

Speaker 조현습* LIG넥스원