M3PT: 다중 모달리티, 다자간 사회적 신호 예측을 위한 혁신적인 Transformer

본 기사는 다중 모달리티 및 다자간 사회적 신호 예측을 위한 새로운 Transformer 모델 M3PT에 대한 연구 결과를 소개합니다. M3PT는 다양한 사회적 신호를 통합적으로 처리하고 시간적 상호작용을 고려하여 사회적 역동성을 더욱 정확하게 파악하는 혁신적인 모델입니다. HHCD 데이터셋을 사용한 실험 결과, 다중 모달리티 활용을 통해 예측 정확도가 향상되었음을 확인했습니다. 이 연구는 인간-로봇 상호작용 및 인공 사회 지능 분야에 중요한 발전 가능성을 제시합니다.

인간의 사회적 상호작용을 이해하는 AI의 도약: M3PT의 등장

인간과 로봇의 자연스러운 상호작용, 그리고 진정한 인공 사회 지능을 향한 여정에서 가장 큰 과제 중 하나는 바로 복잡한 사회적 신호를 이해하는 것입니다. 식사 중 음식을 집어 먹는 행위와 같은 맥락 특수적인 활동부터, 몸짓, 머리 움직임, 말투 등 다양한 모달리티(multimodal)의 신호가 여러 사람(multi-party)이 참여하는 대화 속에서 복잡하게 얽혀있기 때문입니다.

기존의 연구들은 특정 작업에 초점을 맞춘 모델 개발에 그쳤습니다. 하지만 Yiming Tang, Abrar Anwar, Jesse Thomason 세 연구자는 이러한 한계를 극복하기 위해 M3PT (Multimodal, Multi-Party Social Signal Prediction Transformer) 라는 혁신적인 모델을 개발했습니다. M3PT는 다양한 모달리티의 사회적 신호를 여러 참가자 간의 시간적 상호작용을 고려하여 동시에 처리할 수 있는 인과 관계 기반 Transformer 아키텍처를 채택했습니다. 특히, 모달리티 및 시간적 블록 단위 어텐션 마스킹(modality and temporal blockwise attention masking) 기법을 통해 개인 간 장기적인 사회적 신호의 상호작용을 더욱 효과적으로 포착합니다.

연구팀은 Human-Human Commensality Dataset (HHCD) 를 사용하여 M3PT를 훈련 및 평가했습니다. 그 결과, 다양한 모달리티를 통합적으로 활용함으로써 음식을 먹는 시점과 발화 상태 예측의 정확도를 향상시키는 것을 확인했습니다. 이는 단순히 사회적 신호를 분리해서 분석하는 것이 아니라, 서로 다른 신호들이 시간적으로 어떻게 상호작용하는지를 이해하는 것이 얼마나 중요한지를 보여주는 결과입니다. GitHub에서 공개된 소스 코드(https://github.com/AbrarAnwar/masked-social-signals/)를 통해 M3PT의 놀라운 성능을 직접 확인해 볼 수 있습니다.

M3PT의 등장은 인간-로봇 상호작용 및 인공 사회 지능 분야에 새로운 가능성을 제시합니다. 더욱 자연스럽고, 섬세하며, 감성적인 인공지능 시스템 개발에 한 걸음 더 다가선 셈입니다. 앞으로 M3PT가 어떻게 발전하고, 다양한 분야에 적용될지 기대됩니다.