듀얼 스테이지 교차 모달 네트워크: 감정 모방 강도 추정의 새로운 지평

본 논문은 다중 모달 데이터를 활용한 감정 모방 강도 추정을 위한 새로운 딥러닝 모델을 제시합니다. 이중 단계 교차 모달 정렬 프레임워크와 품질 기반 모달 융합 전략을 통해 기존 모델의 한계를 극복하고 성능을 향상시켰으며, 개방 환경에서의 세밀한 감정 분석에 기여할 것으로 기대됩니다.

인간의 사회적 행동 이해와 인간-컴퓨터 상호 작용 경험 향상에 있어 감정 모방 강도(EMI) 추정은 매우 중요한 기술입니다. 하지만 다양한 모달의 시간적 신호 간의 동적인 상관 관계를 모델링하고 강건하게 융합하는 것은 여전히 큰 과제입니다.

기존 방법들은 모달 간 시너지 효과 활용 부족, 노이즈 민감성, 세밀한 정렬 기능 제한 등의 문제점을 가지고 있습니다. 이에 본 논문에서는 유, 주, 치, 장, 정, 왕, 그리고 루 등 연구진이 이중 단계 교차 모달 정렬 프레임워크를 제시하여 이러한 한계를 극복하고자 합니다.

첫 번째 단계에서는 개선된 CLIP 아키텍처를 기반으로 시각-텍스트 및 오디오-텍스트 대조 학습 네트워크를 구축하여 모달 분리 사전 학습을 통해 특징 공간에서 초기 정렬을 달성합니다. 이는 마치 서로 다른 언어를 사용하는 두 사람이 사전에 공통된 어휘를 학습하는 것과 같습니다.

두 번째 단계에서는 시간적 특징을 포착하기 위해 시간적 합성곱 신경망(TCN) 과 양방향 LSTM을 결합한 시간 인식 동적 융합 모듈을 설계했습니다. TCN은 얼굴 표정의 거시적 진화 패턴을, 양방향 LSTM은 음향 특징의 미시적 동역학을 각각 포착합니다. 이는 마치 영화의 전체적인 줄거리와 세밀한 장면들을 동시에 분석하는 것과 같습니다.

특히, 품질 기반 모달 융합 전략을 도입하여 폐색이나 노이즈가 있는 상황에서도 차별화 가능한 가중치 할당을 통해 모달 보상을 가능하게 했습니다. 이는 마치 어떤 부분은 흐릿해도 다른 부분의 정보를 활용하여 전체 그림을 완성하는 것과 같습니다.

Hume-Vidmimic2 데이터셋을 이용한 실험 결과, 제안된 방법은 6가지 감정 차원에서 평균 피어슨 상관 계수 0.35를 달성하여 기존 최고 성능 대비 40% 향상을 보였습니다. 추가적인 실험을 통해 이중 단계 학습 전략과 동적 융합 메커니즘의 효과를 검증했습니다. 본 연구는 개방 환경에서의 세밀한 감정 분석을 위한 새로운 기술적 방향을 제시합니다.