멀티모달, 멀티파티 사회적 신호 예측을 위한 혁신적인 트랜스포머 모델: M3PT

Yiming Tang, Abrar Anwar, Jesse Thomason이 개발한 M3PT는 다양한 모달리티와 다자간 상호작용을 고려한 혁신적인 사회적 신호 예측 모델입니다. HHCD 데이터셋을 사용한 실험 결과, 다중 모달리티 활용을 통해 예측 성능이 향상되는 것을 확인했습니다.

인간-로봇 상호작용과 인공 사회 지능 분야에서 다자간 대화의 사회적 신호를 이해하는 것은 매우 중요합니다. 사회적 신호는 자세, 머리 방향, 음성, 그리고 식사 중 음식을 집어 먹는 행위와 같이 상황에 특정적인 활동을 포함합니다. 기존의 다자간 상호작용 연구는 사회적 신호 예측을 위해 특정 작업에 맞춘 모델을 구축하는 경향이 있었습니다.

Yiming Tang, Abrar Anwar, Jesse Thomason 세 연구원은 이러한 한계를 극복하기 위해, 단일 모델에서 다자간 상황의 다양한 사회적 신호를 예측하는 M3PT라는 새로운 모델을 제안했습니다. M3PT는 여러 참여자와 그들의 시간적 상호작용을 동시에 처리하기 위해 모달리티 및 시간적 블록 단위 어텐션 마스킹을 사용하는 인과적 트랜스포머 아키텍처를 기반으로 합니다. 핵심은 사람 중심의 블록 단위 어텐션으로, 참여자 간의 상호작용을 효과적으로 포착하여 더욱 정확한 예측을 가능하게 합니다.

연구팀은 인간-인간 식사 데이터셋(Human-Human Commensality Dataset, HHCD)을 사용하여 M3PT를 학습하고 평가했습니다. 그 결과, 다중 모달리티를 활용함으로써 식사 중 음식을 먹는 시점과 발화 상태 예측의 정확도가 향상되었음을 확인했습니다. 이는 M3PT가 다양한 사회적 신호를 효과적으로 통합하고 예측할 수 있음을 보여주는 중요한 결과입니다. 자세한 내용과 소스 코드는 Github에서 확인할 수 있습니다.

M3PT의 혁신적인 면:

• 멀티모달 처리: 음성, 자세 등 다양한 모달리티의 정보를 통합적으로 처리합니다.
• 멀티파티 상호작용 고려: 다수 참여자 간의 복잡한 상호작용을 효과적으로 모델링합니다.
• 블록 단위 어텐션: 시간적 상관관계를 고려하여 예측 정확도를 높입니다.

이 연구는 인간-로봇 상호작용, 인공 사회 지능 분야에 중요한 발전을 가져올 것으로 기대됩니다. 향후 연구에서는 다양한 상황과 더욱 복잡한 사회적 신호 예측에 M3PT를 적용하는 연구가 진행될 것으로 예상됩니다. M3PT는 단순한 기술적 발전을 넘어, 인간과 기계의 보다 자연스럽고 효과적인 소통을 위한 중요한 이정표를 제시했습니다. 😊