맘바 기반 지속적 감정 인식: 혁신적인 Mamba-VA 모델 등장!

Liang Yuheng 등 연구진이 개발한 Mamba-VA 모델은 Mamba 아키텍처를 기반으로 지속적 감정 인식의 정확도를 높였습니다. MAE와 TCN을 활용하여 시간 정보의 강건성을 높이고 장기적인 감정 변화를 효과적으로 모델링하여 ABAW 8th competition에서 우수한 성능을 달성했습니다.

인간과 컴퓨터의 상호 작용, 정신 건강 모니터링, 자율 주행 등 다양한 분야에서 지속적 감정 인식(CER) 의 중요성이 날로 높아지고 있습니다. 특히, 쾌락-각성(Valence-Arousal, VA) 공간을 기반으로 한 감정 모델링은 보다 정교한 감정 상태 표현을 가능하게 합니다. 하지만 기존 방법들은 장기 의존성 처리와 복잡한 시간적 역학 포착에 어려움을 겪어왔습니다.

이러한 문제를 해결하기 위해, Liang Yuheng 등 연구진은 Mamba-VA라는 혁신적인 감정 인식 모델을 개발했습니다. Mamba-VA는 Mamba 아키텍처를 활용하여 비디오 프레임의 순차적인 감정 변화를 효율적으로 모델링합니다. 핵심은 다음과 같습니다.

1. Masking Autoencoder (MAE) 를 사용하여 비디오 프레임에서 심층적인 시각적 특징을 추출, 시간 정보의 강건성을 높입니다. 마치 비디오의 핵심 정보만을 추출하여 노이즈를 제거하는 것과 같습니다.
2. Temporal Convolutional Network (TCN) 을 통해 국소적인 시간적 의존성을 포착합니다. 이는 시간의 흐름에 따른 감정 변화의 미묘한 패턴까지 감지하는 능력을 의미합니다.
3. Mamba를 활용하여 장기 시퀀스 모델링을 수행, 전반적인 감정 추세를 학습합니다. 장기적인 감정의 변화를 파악하여 더욱 정확한 예측을 가능하게 합니다.
4. 마지막으로, 완전 연결층(FC) 을 통해 회귀 분석을 수행하여 지속적인 쾌락 및 각성 값을 예측합니다.

연구진은 Affective Behavior Analysis in-the-wild (ABAW) 8th competition의 VA 추정 과제에서 Mamba-VA 모델을 평가했습니다. 그 결과, 검증 세트에서 쾌락(Valence) 0.5362, 각성(Arousal) 0.4310 점수를 기록하며 기존 모델들을 능가하는 성능을 보였습니다 (테스트 세트: 쾌락 0.5036, 각성 0.4119). 소스 코드는 GitHub에서 확인 가능합니다.

Mamba-VA 모델은 지속적 감정 인식 분야에 새로운 가능성을 제시하며, 향후 인간-컴퓨터 상호작용 및 다양한 응용 분야에 긍정적인 영향을 미칠 것으로 기대됩니다. 특히, 장기간의 감정 변화를 정확하게 파악하는 능력은 정신 건강 모니터링이나 자율 주행 시스템의 안전성 향상에 크게 기여할 수 있을 것입니다.