딥러닝의 눈을 뜨다: 지식 기반 시각적 이해의 혁신, DeepPerception

본 기사는 Xinyu Ma 외 연구진이 개발한 DeepPerception 모델에 대한 심층적인 분석을 제공합니다. MLLM의 시각적 지각 능력 향상을 목표로, 지식 기반 시각적 이해(KVG)라는 새로운 과제와 이를 위한 혁신적인 접근 방식을 제시합니다. 자동화된 데이터 합성과 두 단계 학습 프레임워크를 통해 높은 정확도와 도메인 일반화 성능을 달성했으며, 인공지능의 시각적 인지 능력 발전에 중요한 이정표를 제시합니다.

인간의 시각적 인지는 단순한 이미지 인식을 넘어, 축적된 지식을 바탕으로 세밀한 판단을 내리는 복잡한 과정입니다. 예를 들어, 전문가는 단순히 '고양이'를 보는 것이 아니라, 털의 색깔, 무늬, 자세 등을 종합적으로 고려하여 품종까지 식별할 수 있습니다. 하지만 기존의 다중 모드 대규모 언어 모델(MLLM)은 이러한 '지식 기반 시각적 이해' 능력이 부족했습니다. 단순히 입력된 정보에 대한 직접적인 반응을 생성하는 데 그쳤죠.

마 사오숭(Maosong Sun) 교수 연구팀을 포함한 연구진은 이러한 한계를 극복하기 위해 DeepPerception을 개발했습니다. DeepPerception은 MLLM에 인지적 시각 지각 능력을 부여하여, 지식을 활용한 정교한 시각적 판단이 가능하도록 설계된 혁신적인 모델입니다.

핵심은 지식 집약적 시각적 근거 제시(KVG) 라는 새로운 과제 설정에 있습니다. KVG는 세밀한 시각적 인식과 특정 도메인에 대한 지식의 통합을 모두 요구하는 어려운 문제입니다. 연구팀은 이 문제를 해결하기 위해 두 가지 핵심 전략을 사용했습니다.

1. 자동화된 데이터 합성 파이프라인: 고품질의 지식 정렬 학습 데이터를 자동으로 생성하여 모델 학습의 효율성을 높였습니다. 이는 마치 인공지능에게 '교과서'와 같은 풍부한 학습 자료를 제공하는 것과 같습니다.
2. 두 단계 교육 프레임워크: 지도 학습 기반 미세 조정을 통해 인지적 추론을 위한 기반을 마련하고, 강화 학습을 통해 시각적 지각과 인지 과정의 시너지를 극대화했습니다. 이는 인공지능에게 '학습 방법'을 가르치는 것과 같습니다.

DeepPerception의 성능을 측정하기 위해 연구팀은 KVG-Bench라는 10개 도메인, 1300개의 수동으로 엄선된 테스트 사례로 구성된 포괄적인 데이터셋을 구축했습니다. 실험 결과, DeepPerception은 기존 방식 대비 KVG-Bench에서 8.08%의 정확도 향상을 달성했으며, 도메인 간 일반화 성능 또한 4.60% 향상되는 놀라운 결과를 보였습니다.

이 연구는 MLLM에 인지 과정을 통합하는 것이 인간 수준의 시각적 지각에 얼마나 중요한지를 보여줍니다. DeepPerception은 단순한 기술적 진보를 넘어, 인공지능이 세상을 이해하고 상호 작용하는 방식에 대한 새로운 패러다임을 제시합니다. 관련 데이터, 코드, 모델은 https://github.com/thunlp/DeepPerception 에서 확인할 수 있습니다.