객체 추적은 센서 데이터로부터 객체(예: 차량, 보행자)를 탐지하고, 객체의 위치를 지속적으로 추정하는 기술로, 자율주행 차량이 안전하게 장애물을 회피하고 경로를 계획하기 위해 매우 중요 하다. 특히, 다양한 상황에서의 안전한 주행을 보장하기 위해서 최근 자율주행을 위한 객체 추적 연구들은 주로 라이다 혹은 4D 레이다를 단독으로 사용하는 방법에 집중하고 있다. 라이다는 기 하학적 위치 정보를 제공해 객체 추적 성능이 높지만, 근 적외선을 이용하는 광학적 특성 때문에 악천후에서 성능이 저하된다. 반면에 4D 레이다는 전파를 사용하여 악천후에서도 객체 추적이 가능하지만, 기후 환경이 양호한 상황에서는 라이다보다 밀도가 낮아 성능이 떨어지는 문제가 있다. 이처럼 모든 상황에서 정확하고 강건한 객체 추적 기술 연구가 부족하다는 공통적인 한계를 가진다. 본 연구에서는 전파를 사용하는 4D 레이다를 라이다와 융합하여 악천후에서도 정확하고 강건한 객체 추적 기술을 제안한다. 제안 기술은 4D 레이다와 라이다의 효과적인 융합을 위한 Late fusion 기법과 객체의 복잡한 움직임을 정확하게 예측하기 위해서 Interacting Multiple Model (IMM) 필터를 사용한다. Late fusion 기법은 4D 레이다와 라이다 센서의 측정치를 각각 IMM 필터에 적용한 후, 얻어낸 상태 값과 공분산 값을 얻어내 최종의 상태 값과 공분산 값을 도출하고, 이를 통해 객체 추적 결과를 얻는다. 제안 기술을 악천후 환경의 데이터가 포함된 K-Radar에서 기존 4D 레이다 객체 추적 기술과 라이다 객체 추적 기술을 비교한 결과, 기후 환경이 양호한 상황에서는 더욱 신뢰성이 있는 정보를, 악천후 상황에서는 월등히 뛰어넘는 추적 성능을 가짐을 입 증하였다.

3D Object Tracking Based on Fusion of 4D Radar and LiDAR Sensors Using IMM Filter

Woo-Jin Jung, Dong-Hee Paek, Seung-Hyun Kong*

Object tracking is a technology that detects objects (e.g., vehicles, pedestrians) from sensor data and continuously estimates their positions, which is crucial for autonomous vehicles to safely avoid obstacles and plan their routes. Recent research on object tracking for autonomous driving has primarily focused on using LiDAR or 4D radar individually to ensure safe driving under various conditions. LiDAR provides geometric position information, which leads to high object tracking performance, but its performance degrades in adverse weather conditions due to its reliance on near-infrared optical characteristics. On the other hand, 4D radar can track objects even in adverse weather using radio waves, but its performance is inferior in normal weather conditions due to its lower data density compared to LiDAR. As such, these approaches share a common limitation: a lack of research on object tracking technologies that are both accurate and robust across all conditions. In this study, we propose a robust object tracking technology that fuses 4D radar, which uses radio waves, with LiDAR to ensure accurate and reliable tracking even in adverse weather conditions. The proposed method employs a late fusion technique for effective integration of 4D radar and LiDAR data and utilizes the Interacting Multiple Model (IMM) filter to accurately predict complex object movements. The late fusion method applies the IMM filter to the measurements from both 4D radar and LiDAR sensors, then combines the resulting state estimates and covariance values to derive the final state estimate and covariance, ultimately producing the object tracking results. The proposed technology was tested using K-Radar, a dataset containing adverse weather conditions, and was compared against existing 4D radar and LiDAR-based object tracking. The results demonstrate that our approach provides more reliable information in normal weather conditions and significantly superior tracking performance in adverse weather conditions.

Keywords: 4D radar, fusion, object tracking, autonomous driving

Speaker 정우진 KAIST