아폴로: 장시간 비디오 이해의 새로운 지평을 연 대규모 다중 모달 모델


Orr Zohar 등 연구진이 개발한 Apollo는 대규모 다중 모달 모델(LMM)의 비디오 이해 능력을 획기적으로 향상시킨 모델입니다. 'Scaling Consistency' 개념을 도입하여 계산 비용을 절감하고, 다양한 비디오 샘플링 전략 및 아키텍처 최적화를 통해 Apollo-3B와 Apollo-7B는 기존 모델들을 능가하는 성능을 달성했습니다. 이는 장시간 비디오 분석 등 다양한 분야에 긍정적인 영향을 미칠 것으로 예상됩니다.

related iamge

최근 급속도로 발전하는 인공지능 분야에서 대규모 다중 모달 모델(LMM)의 비디오 이해 능력은 주목할 만한 성과를 거두고 있습니다. 하지만, 이러한 모델들의 작동 원리를 제대로 이해하지 못한 채 설계 및 훈련이 이루어지는 경우가 많아, 효율성과 성능 향상에 대한 연구가 더욱 필요한 상황입니다. 특히, 막대한 계산 비용과 제한적인 공개 연구 자료들은 비디오 LMM 개발의 걸림돌이 되고 있습니다.

Orr Zohar 등 12명의 연구진이 발표한 논문 “Apollo: An Exploration of Video Understanding in Large Multimodal Models”은 이러한 문제점들을 해결하기 위한 획기적인 연구 결과를 담고 있습니다. 연구진은 LMM의 비디오 이해 능력을 향상시키기 위한 핵심 요소들을 심층적으로 분석하고, 그 결과를 바탕으로 새로운 모델을 개발했습니다.

비디오 이해의 핵심: Scaling Consistency

연구진은 먼저 비디오 LMM 연구의 높은 계산 비용 문제를 해결하기 위해 'Scaling Consistency'라는 개념을 제시했습니다. 이는 작은 모델과 데이터셋에서 효과적인 설계 및 훈련 전략이 더 큰 모델에도 적용될 수 있다는 것을 의미합니다. 이러한 통찰력을 바탕으로, 연구진은 비디오 샘플링 전략, 아키텍처, 데이터 구성, 학습 일정 등 비디오 LMM의 다양한 측면을 폭넓게 연구했습니다. 예를 들어, 훈련 중 fps 샘플링이 균일한 프레임 샘플링보다 훨씬 효율적이라는 점과 어떤 비전 인코더가 비디오 표현에 가장 적합한지를 밝혀냈습니다.

Apollo: 압도적인 성능을 자랑하는 새로운 LMM 모델

연구진은 이러한 연구 결과를 바탕으로 Apollo라는 최첨단 LMM 모델군을 개발했습니다. Apollo는 다양한 크기의 모델에서 뛰어난 성능을 보이며, 특히 장시간 비디오를 효율적으로 처리할 수 있다는 점이 주목할 만합니다. Apollo-3B는 기존 7B 모델들을 능가하는 성능(LongVideoBench 기준 55.1)을 달성했으며, Apollo-7B는 7B LMM 중 최고 수준의 성능(MLVU 기준 70.9, Video-MME 기준 63.3)을 기록했습니다.

미래를 위한 전망

이번 연구는 비디오 LMM의 효율성과 성능을 크게 향상시키는 데 중요한 기여를 했습니다. 'Scaling Consistency' 개념과 Apollo 모델의 성공은 앞으로 더욱 발전된 비디오 이해 기술 개발에 중요한 이정표가 될 것입니다. 장시간 비디오 분석, 실시간 비디오 처리, 그리고 다양한 분야에서의 비디오 기반 AI 응용 프로그램 개발에 긍정적인 영향을 미칠 것으로 기대됩니다. 하지만, 아직 해결해야 할 과제들도 남아 있습니다. 더욱 다양한 데이터셋과 더욱 정교한 평가 방법론을 통해 연구를 지속적으로 발전시켜 나가는 것이 중요합니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Apollo: An Exploration of Video Understanding in Large Multimodal Models

Published:  (Updated: )

Author: Orr Zohar, Xiaohan Wang, Yann Dubois, Nikhil Mehta, Tong Xiao, Philippe Hansen-Estruch, Licheng Yu, Xiaofang Wang, Felix Juefei-Xu, Ning Zhang, Serena Yeung-Levy, Xide Xia

http://arxiv.org/abs/2412.10360v1