텍스트와 비디오로 AI 에이전트의 지능을 끌어올리다: VG-TVP 모델의 혁신


Muhammet Furkan Ilaslan 등 연구진이 개발한 VG-TVP 모델은 텍스트와 비디오를 활용한 다중 모달 절차적 계획(MPP) 프레임워크로, LLM의 제로샷 추론 능력과 다양한 생성 모델들을 결합하여 텍스트와 비디오 계획의 정보성, 시간적 일관성, 정확성을 향상시켰습니다. 새로운 데이터셋 Daily-PP를 통해 검증된 VG-TVP는 기존 모델보다 우수한 성능을 보이며, AI 에이전트의 지능 향상에 큰 기여를 할 것으로 기대됩니다.

related iamge

최근 대규모 언어 모델(LLM) 기반 에이전트가 절차적 작업에서 놀라운 성과를 보이고 있습니다. 하지만 텍스트와 비디오를 결합한 다중 모달 지시의 잠재력은 아직 충분히 탐구되지 않았습니다. 이러한 한계를 극복하기 위해, Muhammet Furkan Ilaslan 등 연구진이 제안한 VG-TVP(Visually Grounded Text-Video Prompting) 모델은 게임 체인저가 될 수 있습니다.

VG-TVP는 LLM을 활용한 혁신적인 다중 모달 절차적 계획(MPP) 프레임워크입니다. 주어진 상위 수준의 목표를 바탕으로 일관성 있는 텍스트와 비디오 절차 계획을 생성합니다. 이는 단순히 명령을 따르는 수준을 넘어, 텍스트와 비디오 정보의 효과적인 통합을 통해 더욱 정교하고 효율적인 계획을 생성하는 것을 목표로 합니다.

하지만 도전 과제는 만만치 않았습니다. 텍스트와 비디오 계획의 정보성, 시간적 일관성, 정확성을 동시에 달성하는 것이 관건이었습니다. 연구진은 이를 해결하기 위해 LLM의 제로샷 추론 능력, 비디오 캡션 모델의 비디오-텍스트 생성 능력, 그리고 확산 모델의 텍스트-비디오 생성 능력을 결합했습니다.

특히 주목할 만한 것은 FoC(Fusion of Captioning) , T2V-B(Text-to-Video Bridge) , V2T-B(Video-to-Text Bridge) 입니다. 이 세 가지 방법은 모달 간 상호 작용을 개선하여, LLM이 시각적으로 기반한 텍스트 계획과 텍스트 기반 비디오 계획 생성을 효과적으로 안내하도록 합니다. 이는 마치 사람이 동료와 협업하여 과제를 해결하는 것과 유사한 방식으로, 서로 다른 정보 채널의 강점을 활용하는 것입니다.

또한, MPP에 적합한 데이터셋의 부족 문제를 해결하기 위해 Daily-Life Task Procedural Plans (Daily-PP) 라는 새로운 데이터셋을 직접 제작했습니다. 이를 통해 VG-TVP 모델의 성능을 객관적으로 평가할 수 있는 기반을 마련했습니다.

실험 결과, VG-TVP는 기존의 단일 모달 기반 모델을 능가하는 성능을 보였습니다. 특히, 텍스트와 비디오의 정보성, 시간적 일관성, 계획 정확성 측면에서 인간의 선호도 평가에서 높은 점수를 받았습니다.

VG-TVP는 단순한 기술적 발전을 넘어, AI 에이전트가 보다 복잡하고 다양한 작업을 수행할 수 있도록 하는 중요한 이정표를 제시했습니다. 앞으로 이 기술이 다양한 분야에 적용되어, 우리 삶을 더욱 편리하고 풍요롭게 만들어 줄 것으로 기대됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] VG-TVP: Multimodal Procedural Planning via Visually Grounded Text-Video Prompting

Published:  (Updated: )

Author: Muhammet Furkan Ilaslan, Ali Koksal, Kevin Qinhong Lin, Burak Satar, Mike Zheng Shou, Qianli Xu

http://arxiv.org/abs/2412.11621v1