GASP: 합성 사전 정보를 활용한 가우시안 아바타의 혁신
마이크로소프트 연구진이 개발한 GASP 모델은 단일 카메라 영상을 이용하여 고품질의 360도 렌더링이 가능한 가우시안 아바타를 실시간으로 생성하는 기술입니다. 합성 데이터 기반의 사전 학습 모델을 활용하여 데이터 효율성을 높였으며, 상용 하드웨어에서 70fps의 속도를 제공합니다.

마이크로소프트, 단일 카메라로 360도 고품질 아바타 생성 가능케 하는 GASP 모델 발표
최근 실시간 사실적인 렌더링 분야에서 가우시안 스플래팅(Gaussian Splatting)의 활용이 급증하고 있습니다. 특히, 가우시안 아바타 생성에 있어 괄목할 만한 성과를 보이고 있죠. 하지만 기존 연구는 고가의 다중 카메라 장비나 고정된 시점에서만 고품질 렌더링이 가능하다는 한계를 지니고 있었습니다.
이러한 문제를 해결하기 위해 마이크로소프트 연구진(Jack Saunders, Charlie Hewitt 외)은 GASP (Gaussian Avatars with Synthetic Priors) 모델을 발표했습니다. GASP는 웹캠과 같은 일반적인 장비로 촬영한 단일 카메라 영상 또는 사진만으로도 고품질의 360° 렌더링이 가능한 아바타를 생성하는 혁신적인 기술입니다.
GASP의 핵심은 합성 데이터를 활용한 사전 학습 모델입니다. 연구진은 픽셀 수준의 정확성을 가진 합성 데이터를 활용하여 가우시안 아바타의 사전 정보 모델을 생성했습니다. 이 사전 학습 모델을 실제 사진 또는 비디오에 적용하여 미세 조정함으로써 고품질 아바타를 생성하는 것이죠. 핵심은 이 사전 모델이 추론 단계에서는 필요하지 않다는 점입니다. 이는 실시간 애플리케이션 구현에 중요한 장점입니다.
결과적으로 GASP는 제한된 데이터로부터 고품질의 애니메이션 아바타를 생성하며, 상용 하드웨어에서 초당 70프레임(70fps) 의 실시간 렌더링 속도를 제공합니다. 이는 프로젝트 페이지 (https://microsoft.github.io/GASP/)에서 확인할 수 있습니다. GASP는 데이터 효율성과 실시간 처리 속도를 동시에 달성함으로써 AI 아바타 기술의 상용화를 한층 앞당길 것으로 기대됩니다. 단일 카메라 기반의 아바타 생성 기술은 향후 메타버스, 게임, 가상 현실 등 다양한 분야에서 폭넓게 활용될 가능성이 높습니다.
Reference
[arxiv] GASP: Gaussian Avatars with Synthetic Priors
Published: (Updated: )
Author: Jack Saunders, Charlie Hewitt, Yanan Jian, Marek Kowalski, Tadas Baltrusaitis, Yiye Chen, Darren Cosker, Virginia Estellers, Nicholas Gyde, Vinay P. Namboodiri, Benjamin E Lundell
http://arxiv.org/abs/2412.07739v1