ReGraP-LLaVA: 개인화된 지식과 관계 추론의 새로운 지평을 열다

Xiang 외 7명의 연구진은 개인화된 대규모 언어 및 비전 어시스턴트(MLLM)의 한계를 극복하기 위해 새로운 데이터셋 ReGraP과 모델 ReGraP-LLaVA를 제시하고, 관계 추론 및 지식 연결 능력 평가를 위한 ReGraP Benchmark를 구축했습니다. 실험 결과, ReGraP-LLaVA는 경쟁 모델보다 우수한 성능을 보였으며, 코드와 데이터셋을 공개하여 연구의 투명성과 재현성을 확보했습니다.

최근 개인화된 대규모 언어 모델(MLLM)의 발전은 사용자 특유의 개념을 효과적으로 포착하여 개인화된 개념 인식과 상황에 맞는 캡션 생성을 지원합니다. 하지만 인간은 단순히 표면적인 정보를 넘어 사물과 개인 간의 관계를 탐구하고 추론하여 더욱 개인적이고 상황적인 이해에 도달합니다. Xiang 외 7명의 연구진은 이러한 인간의 인지 능력을 모방하여 기존 MLLM의 한계를 극복하는 획기적인 연구 결과를 발표했습니다.

기존 MLLM의 세 가지 주요 한계점:

1. 객체 간의 관계를 학습할 수 있는 다중 객체 집합이 부족한 훈련 데이터
2. 제한된 훈련 데이터로 인해 서로 다른 개인화된 개념 간의 관계를 간과하고 추론하지 못함
3. 주로 단일 개인화된 개념에 초점을 맞춘 실험으로 인해 인식 및 캡션 생성 작업으로 평가가 제한됨

이러한 한계를 해결하기 위해 연구진은 120개의 개인화된 지식 집합으로 구성된 새로운 데이터셋 ReGraP을 제시했습니다. 각 집합은 이미지, 지식 그래프(KG), 그리고 KG에서 파생된 CoT(Chain-of-Thought) QA 쌍을 포함하여 보다 구조적이고 정교한 추론 경로를 가능하게 합니다.

연구진은 ReGraP 데이터셋을 사용하여 ReGraP-LLaVA라는 새로운 MLLM을 제시했습니다. ReGraP-LLaVA는 KG 및 CoT QA 쌍으로 훈련되며, 소프트 및 하드 그래프 프롬프팅 기법을 통해 모델의 의미 공간 내에서 KG를 정렬합니다. 또한, 다양한 유형의 질문(객관식, 빈칸 채우기, 참/거짓, 서술형 질문)을 포함하는 ReGraP Benchmark를 구축하여 개인화된 MLLM의 관계 추론 및 지식 연결 능력을 평가합니다.

실험 결과, ReGraP-LLaVA는 개인화된 지식을 학습할 뿐만 아니라 응답에서 관계 추론을 수행하여 경쟁 모델보다 우수한 성능을 달성했습니다. 특히, 연구진은 모든 코드와 데이터셋을 https://github.com/xyfyyds/ReGraP 에서 공개하여 연구의 투명성과 재현성을 확보했습니다. 이는 AI 연구 발전에 크게 기여하는 중요한 결과입니다. ReGraP-LLaVA는 개인화된 지식과 관계 추론의 새로운 지평을 열었을 뿐만 아니라, 향후 AI 응용 분야에 폭넓은 영향을 미칠 것으로 기대됩니다.