SocialMind: 인간의 사회적 상호작용을 혁신할 LLM 기반 AR 소셜 어시스턴트 시스템


중국과학원 연구진이 개발한 SocialMind는 LLM 기반의 능동적 AR 소셜 어시스턴트 시스템으로, 실시간 사회적 상호작용에 대한 현장 지원을 제공합니다. 인간과 같은 인식 능력을 통해 상황에 맞는 사회적 제안을 생성하며, 사용자 연구 결과 기존 시스템 대비 높은 참여도를 보였습니다.

related iamge

SocialMind: 인간다운 감각으로 사회적 상호작용을 돕는 혁신적인 시스템

인간의 삶에서 사회적 상호작용은 필수적입니다. 최근 등장한 대규모 언어 모델(LLM) 기반 가상 비서는 인간 상호작용과 라이프스타일을 혁신할 가능성을 보여주었습니다. 하지만 기존의 어시스턴트 시스템은 주로 개별 사용자에게 반응적인 서비스를 제공하는 데 그쳤습니다. 대화 상대와의 실시간 사회적 상호작용 중 현장 지원은 부족했습니다.

여기서 혁신적인 시스템 SocialMind가 등장합니다!

중국과학원 연구진(Bufang Yang, Yunqi Guo, Lilin Xu, Zhenyu Yan, Hongkai Chen, Guoliang Xing, Xiaofan Jiang)이 개발한 SocialMind는 LLM 기반의 능동적인 AR 소셜 어시스턴트 시스템입니다. 실시간 소셜 상호작용에 대한 현장 지원을 제공하는 최초의 시스템이라는 점에서 큰 의미를 가집니다.

SocialMind의 핵심은 인간과 같은 인식 능력에 있습니다. 다양한 모달의 센서를 활용하여 음성 및 비언어적 단서, 사회적 요소, 암묵적 페르소나를 추출합니다. 이러한 사회적 단서들을 LLM 추론에 통합하여 상황에 맞는 사회적 제안을 생성합니다. 게다가, SocialMind는 다단계 협업적 생성 전략과 능동적 업데이트 메커니즘을 사용하여 증강현실(AR) 글래스에 사회적 제안을 표시합니다. 이는 대화의 자연스러운 흐름을 방해하지 않으면서 시기적절한 제안을 사용자에게 제공하는 것을 의미합니다.

놀라운 성과!

세 개의 공개 데이터 세트와 20명의 참가자를 대상으로 한 사용자 연구 결과는 SocialMind의 뛰어난 성능을 입증합니다. 기존 시스템에 비해 참여도가 38.3%나 더 높았으며, 참가자의 95%가 실제 소셜 상호작용에서 SocialMind를 사용하고 싶다고 답변했습니다.

SocialMind는 단순한 어시스턴트를 넘어, 더욱 자연스럽고 풍부한 사회적 상호작용을 위한 혁신적인 도구로 자리매김할 가능성을 보여줍니다. 앞으로 SocialMind의 발전과 더욱 다양한 분야에서의 활용 가능성이 기대됩니다. 이를 통해 기술이 인간의 사회적 삶을 어떻게 더욱 풍요롭게 만들 수 있는지에 대한 새로운 시각을 제시할 것입니다. 🧐


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] SocialMind: LLM-based Proactive AR Social Assistive System with Human-like Perception for In-situ Live Interactions

Published:  (Updated: )

Author: Bufang Yang, Yunqi Guo, Lilin Xu, Zhenyu Yan, Hongkai Chen, Guoliang Xing, Xiaofan Jiang

http://arxiv.org/abs/2412.04036v1