오도미트리는 이전 시점과 다음 시점 사이의 자신의 상대적 위치와 방향을 추정하는 기술이다. 이 기술은 고층 건물이 많은 도심에서도 위치 추정이 가능하므로 GPS의 한계점을 해결할 수 있다. 기존 오도미트리 연구 는 카메라 혹은 라이다의 측정값을 활용해왔다. 하지만, 폭우 및 폭설과 같은 악천후에서는 전방 시야가 가려지기 때문에 카메라 혹은 라이다를 사용한 오도미트리는 성능이 크게 저하된다. 본 연구에서는 4D 레이다의 측정값을 활용한 딥러닝 기반 오도미트리 추정 방법인 4DRO를 제안한다. 레이다는 카메라와 라이다 대비 긴 파장의 전파를 활용하므로 악천후에서 강건하게 동작한다. 특히, 4D 레이다는 높이 정보를 제공하기 때문에 6 Degree of Freedom (DoF)의 오도미트리를 직접적으로 추정할 수 있다. 한편, 레이다는 sidelobe 노이즈가 일정하게 분포되어 있지 않으므로 딥러닝 기반의 오도미트리 추정 방법을 사용한다. 4DRO는 4D 레이다 포인 트 클라우드를 2차원 평면에 투영한 depth map을 입력으로 사용한다. 해당 depth map은 2D 합성곱 신경망을 통과하여 4D 레이다 포인트 클라우드의 각 점의 주변 정보를 반영하므로, 4D 레이다 측정값의 세밀한 특징을 추출할 수 있다. 또한, 4D 레이다의 상대 속도 정보를 추가적인 입력으로 사용하여 정적 객체와 동적 객체를 분리함으로써 오도미트리의 성능을 향상시킨다. 제안된 방법을 평가하기 위해 기존의 라이다 기반 휴리스틱 오도미트리 추정 방법에 K-Radar 데이터셋에서 제공되는 레이다 포인트 클라우드를 입력으로 사용하여 성능 비교 실험을 수행한다. 기존 방법 대비 오도미트리 추정의 성능이 향상되며, 악천후에서도 강인한 오도미트 리를 추정할 수 있음을 입증한다.

Deep Learning Based 4D Radar Odometry Estimation

Hee-Yang Jung, Dong-Hee Paek, Seung-Hyun Kong*

Odometry is a technique used to estimate an object's relative position and orientation between consecutive time steps. This technology can overcome the limitations of GPS by enabling accurate positioning in urban environments with tall buildings. Traditional odometry research has primarily relied on measurements from cameras or LiDAR. However, in severe weather conditions such as heavy rain or snow, where the field of view is obscured, the performance of camera- or LiDAR-based odometry significantly degrades. In this study, we propose a deep learning-based odometry estimation method utilizing 4D radar measurements, termed 4DRO. Unlike cameras and LiDAR, radar operates robustly in adverse weather conditions due to its use of longer-wavelength radio waves. Particularly, 4D radar provides height information, allowing for direct estimation of 6 Degree of Freedom (DoF) odometry. Given that radar sidelobe noise is not uniformly distributed, a deep learning-based approach is employed for odometry estimation. 4DRO uses a depth map, obtained by projecting 4D radar point clouds onto a 2D plane, as input. This depth map is processed by a 2D convolutional neural network, which captures the fine features of the 4D radar measurements by incorporating local context information around each point. Additionally, the method enhances odometry performance by incorporating relative velocity information from the 4D radar as an auxiliary input, enabling the separation of static and dynamic objects. To evaluate the proposed method, we conduct performance comparison experiments using radar point clouds from the K-Radar dataset as input to a traditional heuristic LiDAR-based odometry estimation method. The results demonstrate improved odometry estimation performance and robustness under adverse weather conditions.

Keywords: odometry, 4D radar, deep learning

Speaker 정희양 한국과학기술원