혁신적인 다중 에이전트 시스템: LLM 기반 지식 시각적 질의응답의 새로운 지평


중국과학원 연구팀이 LLM 기반 다중 에이전트 시스템을 활용, 지식 기반 시각적 질의응답(VQA)의 성능을 향상시킨 연구 결과를 발표했습니다. 인간의 협업 방식을 모방한 이 시스템은 기존 모델의 한계를 극복하고, 보다 정확하고 효율적인 답변 도출을 가능하게 합니다.

related iamge

최근 대규모 언어 모델(LLM)은 지식 기반 시각적 질의응답(VQA) 분야에서 놀라운 성과를 거두고 있습니다. 하지만 기존 방법들은 여전히 한계를 가지고 있습니다. 바로 외부 도구를 자율적으로 사용하지 못하고, 팀으로서 협력하는 능력이 부족하다는 점입니다.

중국과학원 연구팀(Hu, Yang, Li, Wang)은 인간의 사고 과정에 주목했습니다. 인간은 새로운 질문을 접했을 때, 익숙한 질문에는 바로 답을 하지만, 생소한 질문에는 검색 엔진과 같은 도구를 사용하는 경향이 있습니다. 또한, 보다 나은 답을 얻기 위해 다른 사람들과 협력하고 토론하기도 합니다.

연구팀은 이러한 인간의 문제 해결 전략에서 영감을 얻어 다중 에이전트 투표 프레임워크를 제안했습니다. 팀 내 다양한 역할 수준을 시뮬레이션하는 세 가지 LLM 기반 에이전트를 설계하고, 각 에이전트에 따라 사용 가능한 외부 도구를 할당했습니다. 각 에이전트는 해당 질문에 대한 답변을 제공하고, 최종적으로 모든 에이전트의 답변을 투표하여 최종 답변을 도출합니다.

핵심: 각 에이전트는 팀 내 역할을 분담하고, 능력에 맞는 도구를 사용하여 질문에 답변합니다. 마치 인간 팀처럼 협력적인 문제 해결 과정을 거치는 것이죠.

OK-VQA 및 A-OKVQA 데이터셋을 이용한 실험 결과, 이 접근 방식은 기존 기준 모델들보다 각각 2.2 및 1.0의 성능 향상을 보였습니다. 이는 다중 에이전트 시스템이 LLM 기반 VQA의 성능 향상에 매우 효과적임을 보여주는 중요한 결과입니다.

이 연구는 단순히 LLM의 성능 향상에 그치지 않고, 인간의 협업 및 문제 해결 방식을 AI 시스템에 효과적으로 적용하는 새로운 패러다임을 제시합니다. 향후 더욱 복잡하고 다양한 문제 해결을 위한 AI 시스템 개발에 중요한 이정표가 될 것으로 기대됩니다. 이는 AI가 단순히 인간을 돕는 수준을 넘어, 인간과 유사한 방식으로 문제를 해결하고 협력하는 시대의 도래를 예고하는 의미 있는 성과입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Multi-Agents Based on Large Language Models for Knowledge-based Visual Question Answering

Published:  (Updated: )

Author: Zhongjian Hu, Peng Yang, Bing Li, Zhenqi Wang

http://arxiv.org/abs/2412.18351v1