GenMAC: 다중 에이전트 협업을 통한 혁신적인 텍스트-비디오 생성
GenMAC은 다중 에이전트 협업 기반의 텍스트-비디오 생성 프레임워크로, 설계-생성-재설계의 3단계 반복 과정과 자체 라우팅 메커니즘을 통해 복잡한 동적 장면을 효과적으로 생성합니다. 최첨단 성능을 달성하며 텍스트-비디오 생성 분야에 새로운 가능성을 제시합니다.

GenMAC: 다중 에이전트 협업으로 텍스트를 비디오로!
최근 텍스트-비디오 생성 모델은 놀라운 발전을 이루었지만, 여전히 복잡한 동적 장면 생성에는 어려움을 겪고 있습니다. 특히 여러 객체의 속성 결합, 객체 간의 시간적 상호작용과 같은 복합적인 텍스트 프롬프트에는 한계가 있었습니다.
하지만 이제, GenMAC이 등장했습니다! Kaiyi Huang 등 6명의 연구진이 제시한 GenMAC은 다중 에이전트 협업을 통해 이러한 한계를 극복하는 혁신적인 프레임워크입니다. 복잡한 작업을 각각의 역할을 전문으로 하는 MLLM 에이전트에게 분담시켜, 집단 지능을 통해 복잡한 목표를 달성하는 원리입니다.
GenMAC의 핵심은 설계-생성-재설계의 3단계 반복 과정입니다. 생성과 재설계 단계는 상호작용하며 비디오를 점진적으로 검증하고 개선합니다. 특히 가장 어려운 단계인 재설계 단계는 4개의 전문 에이전트 (검증, 제안, 수정, 출력 구조화 에이전트)로 구성되어 단일 MLLM 에이전트의 환각 현상을 방지하고 효율적인 수정을 가능하게 합니다. 더 나아가, 다양한 시나리오에 대한 유연성을 확보하기 위해 상황에 맞는 수정 에이전트를 선택하는 자체 라우팅 메커니즘을 도입했습니다.
GenMAC은 최첨단 성능을 달성하며 텍스트-비디오 생성 분야에 새로운 지평을 열었습니다. 복잡한 상상력을 비디오로 구현하는 꿈이 현실로 한 발짝 더 다가온 것입니다. 앞으로 GenMAC이 어떻게 발전하고 다양한 분야에 적용될지 기대됩니다! 🤩
Reference
[arxiv] GenMAC: Compositional Text-to-Video Generation with Multi-Agent Collaboration
Published: (Updated: )
Author: Kaiyi Huang, Yukun Huang, Xuefei Ning, Zinan Lin, Yu Wang, Xihui Liu
http://arxiv.org/abs/2412.04440v1