군집주행은 여러 차량이 협력하여 동시에 같은 목표 지점으로 이동하는 기술로, 운전자의 피로도 감소, 교통사고 발생률 감소, 연비 개선, 운수 효율 증가 등의 장점을 가진다. 특히, 주행 거리가 많고 운전 시간이 긴 대형 화물차에서 그 장점이 더욱 부각된다. 하지만, 현재까지 연구된 군집주행 기술은 고속도로처럼 넓고 직선화된 환경에만 적용이 가능하다는 한계가 있다. 그 원인 중 하 나는 현재 군집주행 기술에서 추종차량 제어 시 사용되는 운동학 기반 경로 추종 알고리즘의 한계점으로부터 비롯되는데, 이 알고리즘들은 차량의 동역학적 특성과 비선형성을 고려하지 않으며, 전/후륜 축 중 한 가지만을 고려하여 조향값을 산출하기 때문이다. 이처럼 내/외륜차가 고려되지 않을 시, 좁고 굽이진 도로에서 전륜 축 만을 고려하여 좁게 회전하거나, 후륜 축 만을 고려하여 지나치게 넓게 회전하여 주변 장애물과 충돌할 수 있다. 이러한 기존 기술의 한계점을 개선하기 위해, 본 연구에서는 전/후륜 축의 궤적 모두를 정밀하게 추종할 수 있는 강화학습 기반의 정밀 경 로 추종 군집주행 기술을 제안한다. 제안 군집주행 기술은 추종 차량의 주행 상태 정보를 토대로, 선두 차량에서 Vehicle-to-Vehicle (V2V) 통신으로 전송한 전/후륜 축의 궤적 모두를 최소 오차로 추종하는 것을 주요 목표로 한다. 또한, (1) 선두 차량의 전/후륜 위치 정보의 노이즈에 강건하게 대응하며, (2) 군집의 선두 차량과 일정한 거리를 유지하고, (3) 승차감 및 차량 거동의 안정성을 고려하는 세 가지의 부가적인 목표를 가진다. 제안 군집주행 기술을 평가하기 위해, CARLA 시뮬레이터 상에서 기존 운동학 기반 기술과 제안하는 강화학습 기반 기술의 경로 추종 정확도를 비교 하였다. 마지막으로, 다양한 환경에서의 군집주행 시험을 통해 제안 기술의 제어 안정성과 활용도를 입증하였다.

Reinforcement Learning-based Precise Path Tracking Platooning

Seok Jun Lee, Jeong-Hoon Kim, Seung-Hyun Kong*

Platooning is a technique in which multiple vehicles cooperate to drive to the common destination at the same time, resulting in several advantages including reduced driver fatigue, fewer traffic accidents, increased fuel efficiency, and better cargo transport efficiency. Such advantages are particularly prominent for heavy-duty trucks that cover long distances and endure extended driving hours. However, the current research on platooning has a constraint that it can be applied only in wide and straight environments, such as highways. One cause of this comes from the limitations of kinematics-based path-following algorithms, which are currently used for controlling the following vehicles in platooning. These algorithms only consider one of the front or rear axles to calculate the steering commands and neglect the vehicle’s dynamic characteristics and nonlinearity. If only one axle is considered like this, it may make a narrow turn considering only the front axle, or turn too wide considering only the rear axle and collide with surrounding obstacles on narrow, curved roads. To address these limitations, this study proposes a reinforcement learning (RL)-based precise path tracking platooning technique that can accurately follow both the trajectories of front and rear axles. The primary objective of the proposed platooning technique is to follow the trajectories of both front and rear axles transmitted via Vehicle-to-Vehicle (V2V) communication from the lead vehicle with minimum error, based on the driving state of the following vehicle. Also, three auxiliary goals are: (1) robustly respond to the noise in the front/rear axle position, (2) maintain a consistent distance from the lead vehicle, and (3) improve ride comfort and stability of vehicle behavior. To evaluate the proposed platooning technology, the path-following accuracy of the kinematics-based and the proposed RL-based techniques were compared on the CARLA simulator. Lastly, the control stability and usability of the proposed technique were proven through platooning tests in various environments.

Keywords: reinforcement learning, path tracking, platooning, autonomous driving

Speaker 이석준 KAIST