Action analysis

• Online action detection and action anticipation

스트리밍 비디오에서 실시간으로 현재 발생한 행동의 레이블과 시작 시간을 찾고 (online action detection), 찾은 행동 레이블과 시각 정보를 기반으로 앞으로 일어날 미래 행동을 예측합니다 (action anticipation).

Sumin Lee, Hyunjun Eun, J. Moon, Seokeon Choi, Yoonhyung Kim, Chanho Jung, and Changick Kim, "Learning to Discriminate Information for Online Action Detection: Analysis and Application", Accepted to IEEE Transaction of Pattern Analysis and Machine Intelligence (TPAMI), Sep. 2022.

• Multi-modal action recognition

멀티모달 인간 행동 인식(Multi-modal Action recognition)은 여러 종류의 모달리티 데이터를 사용하여 인간의 행동을 인식하는 기술입니다. 각 모달리티의 특성을 잘 추출하여 융합하는 것이 중요합니다. 가속도, 자이로스코프, 지자기 센서 등의 센서 데이터와 RGB, IR, Depth 등의 영상 데이터가 주로 사용됩니다. 스마트폰, 스마트 워치와 같은 웨어러블 기기, 가정용 및 방범용 CCTV 등을 통해 헬스케어, 안전, 보안 시스템에 활용됩니다.

• Missing modality action recognition

일반 멀티모달 모델은 추론 과정에서 학습에 사용된 여러 모달리티 데이터가 필요합니다. 하지만 실제 상황에서는 특정 모달리티의 센서나 데이터를 사용하기 어려울 수 있습니다. 따라서 멀티모달 행동 인식 모달에 대해 학습 과정에서 사용된 모달리티의 일부가 추론 과정에서 소실되는 상황을 가정합니다. 멀티모달 성능뿐만 아니라 모달리티 소실 시나리오의 성능 향상을 목표로 합니다.