FlexiAct: 이종 시나리오에서 유연한 동작 제어를 향하여

FlexiAct은 기존 동작 제어 기술의 한계를 극복하여 다양한 시나리오에 적응력이 뛰어난 동작 전이 기술입니다. RefAdapter와 FAE를 통해 공간 적응 및 일관성 유지, 효율적인 동작 추출을 달성했습니다. 다양한 분야에 혁신적인 가능성을 제시하는 FlexiAct은 향후 더욱 발전된 기술 개발의 기반이 될 것으로 예상됩니다.

다양한 시나리오를 위한 혁신적인 동작 제어 기술, FlexiAct

최근 AI 기술 발전으로 비디오에서 대상의 동작을 제어하는 기술이 주목받고 있습니다. 하지만 기존의 포즈 기반 또는 전역 동작 사용자 지정 방법은 레이아웃, 골격, 시점 일관성과 같은 엄격한 공간 구조 제약으로 인해 다양한 대상과 시나리오에 대한 적응력이 떨어지는 한계를 가지고 있었습니다.

장시이, 주준호, 장조양, 산잉, 탕얀송 연구팀은 이러한 한계를 극복하기 위해 FlexiAct를 제안했습니다. FlexiAct는 참조 비디오의 동작을 임의의 대상 이미지로 전이하는 기술입니다. 기존 방법과 달리, FlexiAct는 참조 비디오의 대상과 대상 이미지 간의 레이아웃, 시점, 골격 구조의 차이를 허용하면서도 신원 일관성을 유지합니다. 이를 위해 정밀한 동작 제어, 공간 구조 적응, 일관성 유지가 필수적입니다.

연구팀은 공간 적응 및 일관성 유지에 뛰어난 경량 이미지 조건부 어댑터인 RefAdapter를 도입하여 외관 일관성과 구조적 유연성의 균형을 훌륭하게 달성했습니다. 더 나아가, 잡음 제거 과정에서 동작(저주파)과 외관 세부 정보(고주파)에 대한 주의 수준이 시간 단계에 따라 다르다는 것을 관찰하여 FAE(Frequency-aware Action Extraction) 를 제안했습니다. FAE는 기존의 분리된 공간-시간 구조에 의존하지 않고 잡음 제거 과정에서 직접 동작 추출을 수행합니다.

실험 결과, FlexiAct는 다양한 레이아웃, 골격, 시점을 가진 대상에게 효과적으로 동작을 전이하는 것을 보여주었습니다. 연구팀은 추가 연구를 지원하기 위해 코드와 모델 가중치를 공개했습니다 (https://shiyi-zh0408.github.io/projectpages/FlexiAct/).

FlexiAct는 비디오 편집, 게임 개발, 가상 현실 등 다양한 분야에 혁신적인 가능성을 제시합니다. 앞으로 더욱 발전된 기술을 통해 보다 자연스럽고 현실적인 동작 제어가 가능해질 것으로 기대됩니다. 🚀