뇌파와 얼굴 표정 분석으로 감정 인식의 새 지평을 열다: Milmer 프레임워크

Wang 등 연구팀이 개발한 Milmer 프레임워크는 뇌파와 얼굴 표정 분석을 결합하여 감정 인식의 정확도를 크게 향상시켰습니다. Swin Transformer와 MIL 기법을 활용한 혁신적인 접근 방식과 높은 정확도(96.72%), 그리고 GitHub 공개를 통한 접근성 향상은 감정 인식 기술 발전에 중요한 기여를 할 것으로 기대됩니다.

인간의 행동과 의사결정에 있어 감정은 매우 중요한 역할을 합니다. 따라서 인간-컴퓨터 상호작용(HCI) 분야에서 감정 인식은 핵심 연구 주제로 떠오르고 있습니다. 최근, Wang 등 연구팀은 얼굴 표정 분석과 뇌파(EEG) 신호를 통합한 혁신적인 멀티모달 프레임워크인 Milmer를 개발하여 감정 인식의 새로운 가능성을 제시했습니다.

Milmer는 변환기(Transformer) 기반 융합 방식을 사용하여 시각 및 생리적 정보를 효과적으로 통합합니다. 이 프레임워크는 뇌파 전처리 모듈, 얼굴 특징 추출 및 균형 모듈, 그리고 크로스-모달 융합 모듈로 구성됩니다. 특히, Swin Transformer를 감정 관련 데이터셋으로 미세 조정하여 시각적 특징 추출의 정확도를 높였습니다. 또한, 크로스 어텐션 메커니즘을 도입하여 모달 간 토큰 표현의 균형을 맞춰 효과적인 특징 통합을 구현했습니다.

Milmer의 핵심 혁신은 바로 멀티 인스턴스 러닝(MIL) 기법의 도입입니다. MIL을 통해 시간에 따른 여러 얼굴 표정 이미지에서 의미있는 정보를 추출하여 기존 연구에서 간과했던 중요한 시간적 역동성을 포착합니다. DEAP 데이터셋을 이용한 광범위한 실험 결과, Milmer는 4가지 감정 분류 작업에서 **96.72%**의 높은 분류 정확도를 달성하며 기존 연구들을 뛰어넘는 성능을 입증했습니다. 추가적인 ablation study를 통해 각 모듈의 기여도를 검증하여, 고급 기능 추출 및 융합 전략의 중요성을 강조했습니다.

더 나아가, 연구팀은 GitHub 에 코드를 공개하여 연구의 재현성과 확장성을 높였습니다. 이는 다른 연구자들이 Milmer를 기반으로 더욱 발전된 연구를 수행할 수 있도록 돕는 중요한 부분입니다. Milmer는 감정 인식 분야에 새로운 이정표를 제시하며, HCI 분야의 발전에 크게 기여할 것으로 기대됩니다. 앞으로도 지속적인 연구를 통해 더욱 정교하고 효율적인 감정 인식 기술이 개발될 것으로 전망됩니다.