GFlowVLM: 시각 언어 모델의 다단계 추론 능력 향상시키는 혁신적인 프레임워크

GFlowVLM은 GFlowNets를 활용하여 VLM의 다단계 추론 능력을 향상시키는 새로운 프레임워크로, 카드 게임 및 ALFWorld 등 복잡한 작업에서 기존 방식보다 우수한 성능과 일반화 능력을 보여줍니다.

GFlowVLM: 시각-언어 모델의 추론 능력을 한 단계 끌어올리다

최근 눈부신 발전을 거듭하고 있는 시각-언어 모델(Vision-Language Models, VLMs)은 순차적 의사결정 작업에서 뛰어난 성능을 보여주고 있습니다. 하지만 기존의 지도 학습 미세 조정(Supervised Fine-Tuning, SFT)이나 근위 정책 최적화(Proximal Policy Optimization, PPO)와 같은 강화 학습 기법은 한계를 지니고 있습니다. SFT는 독립적이고 동일하게 분포된(IID) 데이터를 가정하며, PPO는 누적 보상을 극대화하는 데 초점을 맞추기 때문에 해결책의 다양성이 제한되고, 다단계 추론 작업에서 일반화 성능이 저하되는 문제가 발생합니다.

강호강, 앤나 사취데바, 피유쉬 굽타, 배상재, 이권준 연구팀은 이러한 문제점을 해결하기 위해 새로운 프레임워크인 GFlowVLM을 제시했습니다. GFlowVLM은 생성 흐름 네트워크(Generative Flow Networks, GFlowNets) 를 활용하여 복잡한 추론 작업에 대한 다양한 해결책을 생성하도록 VLM을 미세 조정합니다. GFlowNets는 비마르코프 의사결정 과정으로 환경을 모델링하여 실제 응용 프로그램에 필수적인 장기 의존성을 포착합니다. 관측값과 작업 설명을 입력으로 받아 사고 과정(chain-of-thought, CoT) 추론을 유도하고, 이를 통해 행동 선택을 안내합니다. 작업 기반 보상을 사용하여 GFlowNets로 VLM을 미세 조정하는데, 이 접근 방식을 통해 기존의 SFT 및 RL 방법보다 뛰어난 성능을 달성합니다.

NumberLine과 블랙잭과 같은 카드 게임 및 ALFWorld와 같은 구현 계획 작업에서 실험 결과, GFlowVLM은 향상된 학습 효율성, 해결책 다양성 및 분포 내외 상황에서 강력한 일반화 능력을 보여주었습니다. 이는 기존 미세 조정 방법보다 훨씬 뛰어난 성능임을 의미합니다.

GFlowVLM은 단순히 VLMs의 성능을 향상시키는 것을 넘어, 다양하고 일반화된 해결책을 생성하는 능력을 부여함으로써 실제 세계 문제 해결에 한 발 더 다가서는 획기적인 연구입니다. 앞으로 VLMs의 발전과 다양한 분야의 응용에 큰 영향을 미칠 것으로 기대됩니다. 특히, 복잡한 의사결정이 필요한 자율주행, 로보틱스, 게임 AI 등의 분야에서 혁신적인 발전을 가져올 가능성이 높습니다. 🧐