Action analysis

스트리밍 비디오에서 실시간으로 현재 발생한 행동의 레이블과 시작 시간을 찾고 (online action detection), 찾은 행동 레이블과 시각 정보를 기반으로 앞으로 일어날 미래 행동을 예측합니다 (action anticipation).

Information Discrimination Unit for online action detection

Information Integration Unit for action anticipation

Sumin Lee, Hyunjun Eun, J. Moon, Seokeon Choi, Yoonhyung Kim, Chanho Jung, and Changick Kim, "Learning to Discriminate Information for Online Action Detection: Analysis and Application", Accepted to IEEE Transaction of Pattern Analysis and Machine Intelligence (TPAMI), Sep. 2022.

멀티모달 인간 행동 인식(Multi-modal Action recognition)은 여러 종류의 모달리티 데이터를 사용하여 인간의 행동을 인식하는 기술입니다. 각 모달리티의 특성을 잘 추출하여 융합하는 것이 중요합니다. 가속도, 자이로스코프, 지자기 센서 등의 센서 데이터와 RGB, IR, Depth 등의 영상 데이터가 주로 사용됩니다. 스마트폰, 스마트 워치와 같은 웨어러블 기기, 가정용 및 방범용 CCTV 등을 통해 헬스케어, 안전, 보안 시스템에 활용됩니다.

Sumin Lee, Sangmin Woo, Yeonju Park, Muhammad Adi Nugroho, and Changick Kim, "Modality Mixer for Multi-modal Action Recognition," Accepted to IEEE WACV 2023.

Inyong Koo, Yeonju Park, Minki Jeong, and Changick Kim, “Contrastive Accelerometer-Gyroscope Embedding for Human Activity Recognition”, Accepted to IEEE Sensors Journal, 2022.

일반 멀티모달 모델은 추론 과정에서 학습에 사용된 여러 모달리티 데이터가 필요합니다. 하지만 실제 상황에서는 특정 모달리티의 센서나 데이터를 사용하기 어려울 수 있습니다. 따라서 멀티모달 행동 인식 모달에 대해 학습 과정에서 사용된 모달리티의 일부가 추론 과정에서 소실되는 상황을 가정합니다. 멀티모달 성능뿐만 아니라 모달리티 소실 시나리오의 성능 향상을 목표로 합니다. 

Sangmin Woo, Sumin Lee, Yeonju Park, Muhammad Adi Nugroho, and Changick Kim. "Towards Good Practices for Missing Modality Robust Action Recognition", Accepted to Proceedings of the AAAI conference on artificial intelligence (AAAI), 2023.