인터랙티브 다이나믹스 제어: 비디오 확산 모델을 이용한 InterDyn
릭 아커만 등 연구진이 개발한 InterDyn은 대규모 비디오 데이터를 학습한 비디오 생성 모델을 이용하여 상호 작용하는 객체의 역동성을 제어 가능하게 시뮬레이션하는 새로운 프레임워크입니다. 기존 방법보다 우수한 성능을 보이며, AI 기반 시뮬레이션 기술의 발전에 크게 기여할 것으로 기대됩니다.

상호 작용하는 객체의 역동성 예측: InterDyn의 혁신
인간과 지능형 시스템 모두에게 상호 작용하는 객체의 역동성을 예측하는 것은 필수적입니다. 하지만 기존 접근 방식은 단순화된 환경에 국한되고, 복잡한 실제 환경으로의 일반화에는 한계가 있었습니다. 최근 생성 모델의 발전으로 개입에 기반한 상태 전이의 예측이 가능해졌지만, 연속적인 움직임과 상호 작용으로 인한 후속 역동성을 무시하고 단일 미래 상태 생성에만 집중하는 단점이 있었습니다.
이러한 한계를 극복하기 위해, 릭 아커만(Rick Akkerman) 등 연구진은 InterDyn이라는 새로운 프레임워크를 제안했습니다. InterDyn은 초기 프레임과 드라이빙 객체 또는 행위자의 움직임을 인코딩하는 제어 신호를 통해 상호 작용 역동성의 비디오를 생성합니다. 핵심 아이디어는 대규모 비디오 기반 모델이 대규모 비디오 데이터로부터 상호 작용 역동성을 학습하여 신경 렌더러이자 암묵적 물리 시뮬레이터 역할을 동시에 수행할 수 있다는 것입니다. 이러한 기능을 효과적으로 활용하기 위해, 연구진은 드라이빙 객체의 움직임을 조건으로 비디오 생성 과정을 제어하는 상호 작용 제어 메커니즘을 도입했습니다.
정성적 결과는 InterDyn이 복잡한 객체 상호 작용의 현실적이고 시간적으로 일관된 비디오를 생성하며, 보이지 않는 객체에도 일반화된다는 것을 보여줍니다. 정량적 평가는 InterDyn이 정적 상태 전이에 집중한 기존 방법보다 우수한 성능을 나타냄을 입증합니다. 이 연구는 비디오 생성 모델을 암묵적 물리 엔진으로 활용할 가능성을 강조합니다. 이는 단순한 예측을 넘어, 실제 세계의 복잡한 상호 작용을 보다 정확하고 생생하게 시뮬레이션하는 새로운 가능성을 열어줍니다. 이는 AI 기반 시뮬레이션 기술의 발전에 큰 기여를 할 것으로 기대됩니다. 하지만, 아직 초기 단계이며, 더욱 발전된 연구를 통해 더욱 정교하고 안정적인 시스템으로 발전시켜 나가야 할 것입니다.
핵심: 대규모 비디오 데이터를 학습한 비디오 생성 모델이 암묵적 물리 시뮬레이터로 활용되어, 제어 가능한 상호작용 역동성 비디오 생성을 가능하게 합니다. 이는 AI 기반 시뮬레이션 기술의 혁신적인 발전으로 이어질 것으로 기대됩니다.
Reference
[arxiv] InterDyn: Controllable Interactive Dynamics with Video Diffusion Models
Published: (Updated: )
Author: Rick Akkerman, Haiwen Feng, Michael J. Black, Dimitrios Tzionas, Victoria Fernández Abrevaya
http://arxiv.org/abs/2412.11785v1