혁신적인 비디오 압축 전략 HICom: AI가 비디오 이해력을 높이는 새로운 방법

중국과학원 연구진이 개발한 HICom은 MLLM의 비디오 처리 비용을 줄이면서 성능을 향상시키는 혁신적인 비디오 압축 전략입니다. 지시어 기반 하이브리드 압축 방식과 HICom-248K 데이터셋을 통해 기존 SOTA 대비 성능 향상과 토큰 감소를 달성했습니다.

AI가 비디오를 더욱 효율적으로 이해하는 혁신적인 방법: HICom

최근 다중 모달 대규모 언어 모델(MLLM)은 방대한 비디오 프레임으로 인한 계산 부하 문제에 직면해 왔습니다. 기존의 압축 전략들은 비디오 정보의 평균화 등으로 중요한 정보 손실을 야기하는 한계를 가지고 있었습니다.

하지만 중국과학원 자동화연구소(Institute of Automation, Chinese Academy of Sciences)의 Zhihang Liu 등 연구진은 이 문제를 해결하기 위해 하이브리드 수준 지시어 주입 전략(Hybrid-level Instruction Injection Strategy, HICom) 을 제시했습니다. HICom은 사용자 지시어를 조건으로 활용, 지역적 및 전역적 수준에서의 압축을 지능적으로 제어합니다. 이를 통해 사용자 중심 정보는 최대한 유지하면서 계산 부하를 최소화하는 혁신적인 방법입니다.

HICom의 핵심: 지시어 기반 하이브리드 압축

HICom은 지시어를 그룹화된 시각적 토큰(local level)과 학습 가능한 토큰(global level)에 주입하여 조건부 압축을 수행합니다. 주목할 점은 어텐션 메커니즘을 통해 지시어와 관련된 시각 정보를 강조하는 동시에, LLM의 이해를 돕기 위해 시간적-공간적 구조를 보존한다는 것입니다. 이는 단순한 압축을 넘어, 모델의 이해도까지 고려한 지능적인 접근입니다.

성능 향상과 효율성 증대: HICom-248K 데이터셋과 실험 결과

HICom의 잠재력을 극대화하기 위해 연구진은 새로운 조건부 사전 학습 데이터셋 HICom-248K를 구축했습니다. 실험 결과는 놀랍습니다. 세 가지 다중 선택 QA 벤치마크에서 기존 최고 성능(SOTA) 대비 평균 2.43% 향상을 달성했으며, 토큰 수는 무려 78.8% 감소시켰습니다. 이는 HICom이 단순히 효율적인 압축 전략을 넘어, MLLM의 성능 향상까지 가져왔음을 의미합니다. 더 자세한 정보와 코드는 GitHub에서 확인할 수 있습니다.

미래를 향한 전망

HICom은 MLLM의 비디오 처리 효율성을 획기적으로 개선하는 동시에 성능까지 향상시킨 혁신적인 연구입니다. 이는 AI 기반 비디오 분석 및 이해 분야에 큰 영향을 미칠 것으로 예상되며, 앞으로 더욱 발전된 기술로 이어질 가능성이 높습니다. 특히, HICom-248K와 같은 고품질 데이터셋의 개발은 향후 AI 연구의 중요한 자산이 될 것입니다. 앞으로 HICom을 기반으로 한 더욱 다양하고 발전된 연구들이 기대됩니다.