틱톡의 비디오 품질 향상을 위한 혁신적인 AI 기술: COEF-VQ


동 싱, 자 센, 슝 홍유 연구원이 개발한 COEF-VQ는 틱톡의 비디오 품질 이해를 위한 효율적인 멀티모달 LLM 프레임워크입니다. 경량 모델과 MLLM의 캐스케이드 구조를 통해 GPU 자원 소모를 줄이면서 성능을 유지, 틱톡 VMP에서 실험을 통해 효과를 검증했습니다.

related iamge

최근 멀티모달 대규모 언어 모델(MLLM) 기술의 발전으로 비디오 이해 능력을 활용한 다양한 분류 작업이 가능해졌습니다. 하지만 실제로 MLLM을 온라인으로 배포하려면 막대한 GPU 자원이 필요하다는 어려움이 있습니다. 이 문제를 해결하기 위해 동 싱, 자 센, 슝 홍유 연구원은 새로운 캐스케이드 MLLM 프레임워크인 COEF-VQ를 제안했습니다.

COEF-VQ는 틱톡의 비디오 품질 이해를 향상시키기 위해 고안된 혁신적인 기술입니다. 이 프레임워크는 시각, 텍스트, 오디오 신호를 모두 융합하는 MLLM을 기반으로 하지만, 여기서 한 단계 더 나아갔습니다. COEF-VQ는 경량 모델을 사전 필터링 단계로, MLLM을 미세 조정 단계로 사용하는 캐스케이드 구조를 채택했습니다. 이를 통해 GPU 자원 소모를 대폭 줄이면서 MLLM이 단독으로 보여주는 성능을 유지하는 놀라운 결과를 달성했습니다.

연구팀은 COEF-VQ의 효과를 검증하기 위해 틱톡의 비디오 관리 플랫폼(VMP)에 이 프레임워크를 배포하고, 비디오 품질 이해와 관련된 두 가지 사내 작업에 대한 일련의 실험을 수행했습니다. 그 결과, COEF-VQ는 제한된 자원 소모량으로 두 작업 모두에서 상당한 성능 향상을 달성했습니다. 이는 단순히 효율성만 높인 것이 아니라, 실제 서비스 환경에서 성능 개선까지 입증한 획기적인 결과입니다.

COEF-VQ는 비디오 품질 향상에 대한 새로운 지평을 열었습니다. GPU 자원 제약으로 인해 MLLM의 활용에 어려움을 겪던 많은 기업과 연구자들에게 실질적인 해결책을 제시하며, 향후 멀티모달 AI 기술의 발전에 중요한 기여를 할 것으로 기대됩니다. 이 연구는 비디오 플랫폼 운영의 효율성을 극대화하고 사용자 경험을 향상시키는 데 크게 기여할 것입니다. 앞으로도 COEF-VQ와 같은 혁신적인 기술들이 등장하여 더욱 고품질의 비디오 서비스를 제공할 수 있기를 기대합니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] COEF-VQ: Cost-Efficient Video Quality Understanding through a Cascaded Multimodal LLM Framework

Published:  (Updated: )

Author: Xin Dong, Sen Jia, Hongyu Xiong

http://arxiv.org/abs/2412.10435v1