물리 법칙을 이해하는 AI: 현실감 넘치는 영상 생성의 새 지평

Yang Xindi 등 11명의 연구진은 비전 언어 모델(VLM)을 활용하여 물리적으로 타당한 영상 생성을 위한 2단계 프레임워크를 제안했습니다. VLM의 물리적 추론 능력을 통해 실제 물리적 동역학에 부합하는 움직임을 생성하며, 기존 방법보다 우수한 성능을 보였습니다. 이는 AI 기반 시뮬레이션, 게임 개발 등 다양한 분야에 혁신을 가져올 것으로 기대됩니다.

최근 비약적인 발전을 거듭하고 있는 영상 확산 모델(VDMs)은 놀라울 정도로 사실적인 영상 생성을 가능하게 하며, 가상 세계 시뮬레이터로서의 잠재력을 보여주고 있습니다. 하지만, Yang Xindi 등 11명의 연구진이 발표한 논문 "Physically Plausible Video Generation via VLM Planning"에 따르면, VDMs는 물리 법칙에 대한 이해가 부족하여 비현실적인 움직임과 사건 순서를 생성하는 경우가 많다는 한계점이 존재합니다.

이러한 문제를 해결하기 위해 연구진은 물리 법칙을 명시적으로 통합한 혁신적인 2단계 영상 생성 프레임워크를 제안했습니다.

첫 번째 단계에서는 비전 언어 모델(VLM)을 활용하여 거시적인 동작 계획을 수립합니다. VLM의 사고 연쇄(chain-of-thought) 및 물리적 추론 능력을 활용하여 실제 물리적 동역학에 근사하면서도 프레임 간 일관성을 유지하는 대략적인 움직임 궤적을 예측합니다. 마치 물리학 교과서를 능숙하게 활용하는 듯한 AI의 모습입니다.

두 번째 단계에서는 예측된 움직임 궤적을 바탕으로 VDMs를 이용하여 영상을 생성합니다. 예측된 궤적이 대략적인 것이므로, 추론 과정에서 노이즈를 추가하여 VDM이 보다 세밀한 움직임을 생성할 수 있도록 자유도를 제공합니다. 이는 마치 예술가가 스케치를 기반으로 세밀한 그림을 완성하는 과정과 유사합니다.

연구진은 광범위한 실험을 통해 이 프레임워크가 물리적으로 타당한 움직임을 생성하며, 기존 방법보다 뛰어난 성능을 보임을 입증했습니다. 더 자세한 영상 결과는 프로젝트 페이지 (https://madaoer.github.io/projects/physically_plausible_video_generation)에서 확인할 수 있습니다.

이 연구는 단순히 현실적인 영상을 생성하는 것을 넘어, AI가 물리적 세계에 대한 이해를 바탕으로 보다 지능적인 콘텐츠를 생성할 수 있는 가능성을 보여주는 중요한 성과입니다. 앞으로 AI 기반 시뮬레이션, 게임 개발, 특수 효과 등 다양한 분야에 혁신적인 변화를 가져올 것으로 기대됩니다. 하지만, 물리적 현상의 완벽한 재현은 여전히 과제로 남아 있으며, 앞으로 더욱 발전된 연구가 필요할 것으로 예상됩니다.