End-to-End 자율주행은 센서 입력으로부터 차량의 제어 명령 또는 주행 궤적까지의 전 과정을 단일 신경망 모델로 학습하여 복잡한 모듈식 파이프라인을 단순화하는 접근법이다. 이러한 특성상 주행 성능은 모델 학습에 사용되는 데이터셋의 품질과 분포에 크게 의존한다. 그러나 기존 시뮬레이터 기반 데이터셋은 주로 규칙 기반 에이전트로 수집되어 행동과 장면 분포가 단조롭고, 드물게 발생하지만 위험한 Edge 시나리오에 대한 대응력이 부족하다는 한계가 있다. 이러한 한계를 극복하기 위해, 본 연구는 실제 주행 기반으로 다양한 이상 상황을 체계적으로 포함하는 차별화된 데이터셋 구축 전략을 제안한다. 본 연구에서 구축한 학습 데이터는 차량의 주행 행동뿐만 아니라 장면 내 보행자 및 장애물의 분포까지 확장하여, 모델이 보다 다양한 주행 상황에 노출되도록 한다. 실험 결과, 데이터의 다양성을 확장해 학습한 모델은 다양한 복잡한 시나리오 에서 규칙 기반 데이터로 학습한 모델 대비 주행 성능이 약 24% 향상되었으며, 정성적 평가에서도 Edge 시나리오에서의 상황 대응력이 뚜렷하게 개선됨을 확인할 수 있었다.

Enhancing the Reliability of End-to-End Autonomous Driving through a Data-Centric Approach

Siewoo Kim, Haechul Chang, Adeeb Mohammed Islam, Seunghyun Kong*

End-to-End autonomous driving is an approach that simplifies the complex modular pipeline by training a single neural network model to handle the entire process from sensor inputs to vehicle control commands or driving trajectories. Due to this characteristic, driving performance heavily depends on the quality and distribution of the dataset used for training. However, existing simulator-based datasets are mostly collected using rule-based agents, resulting in monotonous behavior and scene distributions, and lacking robustness against rare but dangerous edge scenarios. To overcome these limitations, this study proposes a differentiated dataset construction strategy based on real-world driving that systematically includes diverse abnormal situations. The training data constructed in this study expands beyond vehicle driving behavior to also cover the distribution of pedestrians and obstacles within the scene, thereby exposing the model to a broader range of driving situations. Experimental results demonstrate that models trained with this expanded data diversity achieve approximately 24% higher driving performance compared to models trained on rule-based data in complex scenarios, and qualitative evaluations also confirm significantly improved responsiveness in edge cases.
Keywords: end-to-end autonomous driving, edge scenario, deep learning

Speaker 김시우 한국과학기술원