딥러닝의 눈을 뜨다: 지식 기반 시각적 이해의 혁신, DeepPerception

마 씬유 등 연구진이 개발한 DeepPerception은 지식 집약적 시각적 근거 제시(KVG)라는 새로운 과제를 제시하고, 자동 데이터 합성 및 2단계 훈련 프레임워크를 통해 MLLM의 시각적 지각 능력을 획기적으로 향상시켰습니다. KVG-Bench라는 새로운 벤치마크 데이터셋을 통해 경쟁 모델 대비 우수한 성능을 검증했습니다.

인간은 전문 지식을 활용하여 세밀한 시각적 차이를 구별하는 능력을 가지고 있습니다. 하지만 현재의 멀티모달 대규모 언어 모델(MLLM)은 이러한 능력이 부족합니다. 방대한 전문 지식을 보유하고 있음에도 불구하고, MLLM은 시각적 지각에 추론을 통합하는 데 어려움을 겪고, 종종 깊이 있는 분석 없이 직접적인 응답을 생성합니다.

마 씬유(Xinyu Ma) 등 연구진은 이러한 한계를 극복하기 위해 지식 집약적 시각적 근거 제시(Knowledge-intensive Visual Grounding, KVG) 라는 새로운 과제를 제시하고, 이를 해결하기 위한 DeepPerception이라는 새로운 MLLM 모델을 개발했습니다. DeepPerception은 세밀한 지각과 특정 영역 지식 통합을 모두 필요로 하는 KVG에 효과적으로 대응합니다.

DeepPerception은 두 가지 핵심 요소로 구성됩니다. 첫째, 고품질의 지식 정렬 훈련 샘플을 생성하는 자동화된 데이터 합성 파이프라인입니다. 둘째, 인지적 추론을 위한 지도 학습 미세 조정과 지각-인지 시너지를 최적화하기 위한 강화 학습을 결합한 2단계 훈련 프레임워크입니다. 이를 통해 MLLM의 인지적 시각 지각 능력을 향상시켰습니다.

연구진은 DeepPerception의 성능을 벤치마킹하기 위해 10개 영역에 걸쳐 1,300개의 수동으로 엄선된 테스트 사례를 포함하는 KVG-Bench라는 포괄적인 데이터 세트를 새롭게 소개했습니다. 실험 결과, DeepPerception은 기존 방식 대비 KVG-Bench에서 정확도가 8.08% 향상되었고, 도메인 간 일반화 성능 또한 4.60% 개선되는 놀라운 결과를 보였습니다.

이 연구는 인간 수준의 시각적 지각을 위해 MLLM에 인지 과정을 통합하는 것이 얼마나 중요한지를 보여줍니다. DeepPerception과 KVG-Bench 데이터셋, 코드 및 모델은 https://github.com/thunlp/DeepPerception에서 공개되어 있으며, 멀티모달 추론 연구에 새로운 방향을 제시할 것으로 기대됩니다. 이 연구는 단순한 정보 처리를 넘어, 진정한 의미에서 ‘이해’하는 인공지능으로 나아가는 중요한 발걸음이라고 할 수 있습니다.