본 논문은 스마트워치의 센서를 이용하여 신변보호자의 물리적 위협과 심리적 위협 인지 알고리즘 개발 및 모니터링 어플리케이션을 제시한다. 물리적 위협 탐지는 관성 측정 장치(IMU)의 가속도 값을 입력으로 사용 하는 1D CNN 기반 딥러닝 모델을 통해 4가지 상태를 식별하는 문제로 정의된다. 실험을 통해 모델 식별 정확도와 추론 시간 간의 상관관계를 분석하였다. 심리적 위협 탐지는 광용적맥파(PPG) 센서에서 특징을 추출하 는 신호 처리 알고리즘과 1D CNN 모델 기반 알고리즘을 사용하여 현재 착용자가 정상 상태인지 위협 상태인지를 감지하는 문제로 정의된다. 특히, 사용자의 움직임이 PPG 신호 간섭의 주요 원인이 되기에, 이러한 영 향을 제거하기 위해 가우시안 혼합 모델(GMM) 알고리즘을 추가하여 추론 성능을 향상시켰다. VR 공포 체험 게임을 이용한 피험자 실험을 통해 위협 탐지 성능을 도출하였다.

Development of Automatic Threat Detection for Real-Time Location-Tracked Personal Protection Via Wearable Devices

Gyuwon Hwang, Sohee Yoo, Jihyoung Kim, Haeun Oh, Hajeong Kim, Jaehyun Yoo*

This paper presents the development of an algorithm for detecting physical and psychological threats to personal protection officers using smartwatch sensors, along with a monitoring application. Physical threat detection is defined as a problem of identifying four states using a 1D CNN based deep learning model with acceleration values from an Inertial Measurement Unit (IMU) as input. The four states are defined as walking, running, desk work, and threat. We analyzed the correlation between model identification accuracy and inference time through experiments. Psychological threat detection is defined as a problem of detecting whether the current wearer is in a normal or threatened state using a signal processing algorithm that extracts features from a Photoplethysmography (PPG) sensor and 1D CNN model based algorithm. Notably, motion artifacts due to user movement are a primary cause of PPG signal interference. To remove the effects of motion artifacts, we added a Gaussian Mixture Model (GMM) algorithm to improve inference performance. We derived threat detection performance through subject experiments using a VR horror experience game.

Keywords: wearable device, smartwatch sensors, policing technology

Speaker 황규원 성신여자대학교