혁신적인 AI 평가 시스템 등장: 인간과의 상호작용 지능을 측정하다

대규모 다중 모달 모델(LMM)의 인간과의 상호작용 지능을 평가하는 새로운 벤치마크 InterFeedback이 개발되었습니다. 이를 통해 최첨단 LMM조차 인간 피드백을 효과적으로 활용하는 데 어려움을 겪고 있음이 드러났으며, 향후 LMM의 발전 방향을 제시하는 중요한 연구 결과입니다.

인간과 소통하는 AI의 진화: InterFeedback 벤치마크

최근 AI 분야에서 가장 주목받는 분야 중 하나는 바로 대규모 다중 모달 모델(LMM) 입니다. 이 모델들은 이미지, 텍스트, 음성 등 다양한 형태의 데이터를 이해하고 처리하며, 인간과 상호작용하는 AI 비서 개발에 핵심적인 역할을 수행할 것으로 기대됩니다.

하지만 지금까지는 LMM의 인간과의 상호작용 지능을 제대로 평가하는 벤치마크가 부족했습니다. Henry Hengyuan Zhao를 비롯한 연구팀은 이러한 한계를 극복하기 위해 InterFeedback이라는 혁신적인 상호작용 프레임워크를 개발했습니다. InterFeedback는 어떤 LMM과 데이터셋에도 적용 가능하며, 모델의 상호작용 능력을 자율적으로 평가하는 것이 특징입니다.

연구팀은 InterFeedback를 활용하여 MMMU-Pro와 MathVerse라는 두 가지 대표적인 데이터셋을 기반으로 10가지 오픈소스 LMM을 평가하는 InterFeedback-Bench를 구축했습니다. 뿐만 아니라, OpenAI-o1과 Claude-3.5-Sonnet 등 최첨단 모델을 대상으로 120개의 사례를 수집한 InterFeedback-Human 데이터셋도 함께 공개했습니다. 이는 인간 전문가가 직접 모델의 상호작용 성능을 평가한 결과를 담고 있어 더욱 신뢰도 높은 분석을 가능하게 합니다.

놀랍게도, 연구 결과는 최첨단 LMM인 OpenAI-o1조차도 인간 피드백을 통해 결과를 수정하는 비율이 50% 미만으로 나타났습니다. 이는 LMM이 인간의 피드백을 효과적으로 해석하고 활용하는 능력이 아직 미흡하다는 것을 시사합니다.

이번 연구는 LMM의 상호작용 지능 향상을 위한 새로운 연구 방향을 제시하는 중요한 이정표가 될 것입니다. 인간과 효과적으로 소통하고 학습하는 AI 개발은 앞으로도 지속적인 노력과 혁신적인 연구가 필요한 분야입니다. InterFeedback는 이러한 여정에서 매우 중요한 도약을 의미합니다. 향후 LMM의 발전과 인간-AI 상호작용 기술의 진보에 큰 기여를 할 것으로 기대됩니다.