모바일 기기의 혁신: 초고속 비디오 생성의 새 지평을 열다


본 기사는 모바일 기기에서의 고품질 비디오 생성을 가능하게 하는 혁신적인 연구, 'Mobile Video Diffusion'에 대한 내용을 다룹니다. 기존 모델 대비 523배 향상된 효율성과 미미한 화질 저하를 달성하여 모바일 AR/VR, 실시간 비디오 편집 등 다양한 분야에 큰 영향을 미칠 것으로 예상됩니다.

related iamge

실감나는 비디오 생성의 꿈, 이제 모바일에서 현실로!

최근 딥러닝 기반 비디오 확산 모델은 놀라운 사실성과 제어성을 보여주며 주목받고 있습니다. 하지만 높은 연산량으로 인해 모바일 기기에서는 활용에 제한이 있었습니다. 그러나 이러한 한계를 극복할 획기적인 연구 결과가 발표되었습니다! Haitam Ben Yahia를 비롯한 연구진이 발표한 논문 "Mobile Video Diffusion"에서 최초의 모바일 최적화 비디오 확산 모델을 선보였습니다.

어떻게 가능했을까요?

연구진은 Stable Video Diffusion (SVD)의 시공간 U-Net을 기반으로 시작하여 다음과 같은 혁신적인 최적화 기법들을 적용했습니다.

  • 해상도 감소: 비디오 해상도를 줄여 메모리 사용량을 효율적으로 줄였습니다.
  • 다중 스케일 시간적 표현: 시간적 정보를 다양한 해상도로 표현하여 효율성을 높였습니다.
  • 두 가지 혁신적인 가지치기 기법: 채널 수와 시간 블록 수를 줄여 연산량을 감소시켰습니다.
  • 적대적 미세 조정: 잡음 제거 과정을 단일 단계로 줄여 속도를 획기적으로 향상시켰습니다.

이러한 최적화 기법들을 통해 탄생한 MobileVD 모델은 기존 모델 대비 523배 향상된 효율성을 자랑합니다!(1817.2 TFLOPs vs. 4.34 TFLOPs). 화질 저하 또한 FVD 149 vs. 171 로 미미한 수준에 그쳤습니다. Xiaomi-14 Pro 에서 14x512x256 픽셀 크기의 클립에 대한 잠재변수(latent) 생성 시간은 단 1.7초에 불과합니다!

결론:

MobileVD 모델은 모바일 기기에서 고품질 비디오 생성의 새로운 가능성을 열었습니다. 이는 향후 모바일 AR/VR, 실시간 비디오 편집, 게임 등 다양한 분야에 혁신적인 변화를 가져올 것으로 기대됩니다. 자세한 내용은 https://qualcomm-ai-research.github.io/mobile-video-diffusion/ 에서 확인하실 수 있습니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Mobile Video Diffusion

Published:  (Updated: )

Author: Haitam Ben Yahia, Denis Korzhenkov, Ioannis Lelekas, Amir Ghodrati, Amirhossein Habibian

http://arxiv.org/abs/2412.07583v1