AI 학계의 쾌거! 비디오 생성 AI의 효율성 혁신: 정적 양자화의 새로운 지평

이지상현, 류칭펑, 엘카미 모스타파 연구팀은 비디오 확산 트랜스포머의 효율적인 배포를 위한 정적 양자화 방법을 개발했습니다. 단계별 보정 데이터와 채널/텐서 양자화 기법을 활용하여, 자원 제약 기기에서도 고품질 비디오 생성을 가능하게 하였으며, 이는 AI 대중화 및 지속 가능한 AI 발전에 기여할 것으로 예상됩니다.

최근 비디오 생성 분야에서 괄목할 만한 성과를 보여준 확산 트랜스포머(Diffusion Transformers). SORA의 등장 이후, GPU 상에서의 효율적인 배포가 동적 양자화(Dynamic Quantization)를 통해 가능해졌습니다. 하지만, 자원 제약이 심한 기기에서는 동적 양자화가 부담스럽습니다. 이러한 한계를 극복하기 위해, 연구자들은 새로운 해결책을 제시해야 했습니다.

이지상현, 류칭펑, 엘카미 모스타파 연구팀은 이러한 문제에 대한 혁신적인 해답을 제시했습니다. 그들의 논문, "하드웨어 친화적인 비디오 확산 트랜스포머 정적 양자화 방법" 에서는 OpenSora 모델을 대상으로 정적 양자화(Static Quantization) 기법을 활용하여 GPU 뿐 아니라 자원 제약이 심한 기기에서도 고품질 비디오 생성을 가능하게 하는 기술을 선보였습니다.

이 연구의 핵심은 단계별 보정 데이터(per-step calibration data) 를 활용하는 점입니다. 각 시간 단계마다 최적화된 정적으로 양자화된 모델을 제공함으로써, 기존 동적 양자화 방식에 필적하는 성능을 달성했습니다. 여기에 채널별 가중치 양자화(channel-wise quantization for weights) 와 텐서별 활성화 양자화(tensor-wise quantization for activations) , 그리고 부드러운 양자화 기법(smooth-quantization technique) 을 결합하여 고품질 비디오 출력을 얻는 데 성공했습니다. CLIP과 VQA 지표를 통해 FP16 및 동적 양자화된 ViDiT-Q 방법과 비교 가능한 수준의 비디오 품질을 확인했습니다.

이 연구는 단순한 기술적 진보를 넘어, AI의 대중화를 위한 중요한 발걸음입니다. 고성능 비디오 생성 AI 모델을 더욱 폭넓은 기기에서 활용할 수 있게 됨으로써, 창의적인 콘텐츠 제작과 다양한 AI 애플리케이션의 발전에 크게 기여할 것으로 기대됩니다. 더 나아가, 자원 효율적인 AI 모델 개발에 대한 새로운 패러다임을 제시하여 지속 가능한 AI 발전에 중요한 역할을 할 것으로 전망됩니다.