NVIDIA의 혁신: 실시간 자유 시점 비디오 스트리밍의 새 지평을 연 QUEEN 프레임워크
NVIDIA 연구진이 개발한 QUEEN 프레임워크는 혁신적인 정량화-희소성 프레임워크와 가우시안 속성 잔차 직접 학습을 통해 실시간 자유 시점 비디오 스트리밍의 새로운 기준을 제시합니다. 0.7MB의 작은 모델 크기와 350FPS의 빠른 렌더링 속도를 달성하여 3D 화상 회의 및 실시간 입체 영상 방송과 같은 새로운 애플리케이션의 가능성을 열었습니다.

최근 NVIDIA 연구진(Sharath Girish, Tianye Li, Amrita Mazumdar, Abhinav Shrivastava, David Luebke, Shalini De Mello)이 발표한 QUEEN(QUantized Efficient ENcoding) 프레임워크는 실시간 자유 시점 비디오(Free-viewpoint Video, FVV) 스트리밍 분야에 혁신을 가져올 것으로 기대됩니다. 기존의 온라인 FVV 스트리밍은 실시간 제약과 작은 메모리 사용량을 충족하면서 증분식으로 볼륨 메트릭 표현을 업데이트하는 어려움 때문에 상대적으로 미개척 분야였습니다.
QUEEN은 이러한 문제를 해결하기 위해 3D Gaussian Splatting (3D-GS)을 기반으로 설계되었습니다. 핵심은 연속적인 프레임 간의 가우시안 속성 잔차를 직접 학습하는 것입니다. 이는 어떠한 구조적 제약도 부과하지 않고 고품질의 재구성과 일반화 성능을 동시에 달성할 수 있게 합니다.
효율적인 저장을 위해 QUEEN은 정량화-희소성 프레임워크를 도입했습니다. 이는 가우시안 위치를 제외한 속성 잔차를 효과적으로 정량화하는 학습된 잠재-디코더와 위치 잔차를 희소화하는 학습된 게이팅 모듈로 구성됩니다. 또한, 가우시안 뷰스페이스 그래디언트 차이 벡터를 사용하여 정적 및 동적 콘텐츠를 분리하는 방법을 제시하여 효율적인 희소성 학습을 가속화하고 훈련 시간을 단축시킵니다.
다양한 FVV 벤치마크에서 QUEEN은 기존 최첨단 온라인 FVV 방법들을 모든 지표에서 능가했습니다. 특히, 여러 고동적 장면에서 프레임당 모델 크기를 0.7MB로 줄이면서 5초 이내에 훈련을 완료하고 350FPS의 렌더링 속도를 달성했습니다. 이는 3D 화상 회의, 실시간 입체 영상 방송 등 다양한 새로운 애플리케이션의 가능성을 열어줍니다. (프로젝트 웹사이트: https://research.nvidia.com/labs/amri/projects/queen)
QUEEN은 단순한 기술적 발전을 넘어, 실시간 상호 작용과 고품질 시각 경험을 요구하는 미래의 다양한 애플리케이션에 중요한 영향을 미칠 것으로 예상됩니다. 이는 실시간 3D 콘텐츠 제작 및 배포의 새로운 시대를 열어줄 잠재력을 가지고 있습니다.
Reference
[arxiv] QUEEN: QUantized Efficient ENcoding of Dynamic Gaussians for Streaming Free-viewpoint Videos
Published: (Updated: )
Author: Sharath Girish, Tianye Li, Amrita Mazumdar, Abhinav Shrivastava, David Luebke, Shalini De Mello
http://arxiv.org/abs/2412.04469v1