딥러닝 기반 인물 이미지 합성의 혁신: Fusion Embedding의 등장
이화여대 연구팀이 제안한 Fusion Embedding 기반의 PGPIS (FPDM)는 기존 방법들의 한계를 극복하고, DeepFashion 및 RWTH-PHOENIX-Weather 2014T 데이터셋에서 SOTA 성능을 달성했습니다. GitHub 공개를 통해 연구의 재현성과 확장성을 확보하여 AI 연구 발전에 기여할 것으로 기대됩니다.

소스 이미지의 외형을 유지하면서 목표 자세에 맞는 고품질 인물 이미지를 합성하는 것은 컴퓨터 비전 분야의 중요한 과제입니다. 최근 몇 년 동안, 확산 모델(Diffusion Model) 기반의 Pose-Guided Person Image Synthesis (PGPIS) 방법들이 주목받으며 경쟁적인 성능을 보여주고 있습니다. 하지만 기존 방법들은 목표 자세와 소스 이미지의 표현을 추출하여 생성 모델 학습 과정에서 관계를 학습하는 방식으로, 입력과 목표 이미지 간의 의미론적 관계를 학습하는 데 어려움을 겪고 모델 구조 또한 복잡해지는 단점을 가지고 있었습니다.
이러한 문제를 해결하기 위해, 이화여대 연구팀(이동헌, 민경하, 김기록, 정세영, 정지우, 김우주)은 Diffusion Model을 활용한 Fusion Embedding 기반 PGPIS (FPDM)를 제안했습니다. 이는 CLIP 모델의 성공적인 사례에서 영감을 얻어 두 단계로 구성됩니다. 먼저, 소스 이미지와 목표 자세의 Fusion Embedding을 학습하여 목표 이미지의 Embedding과 정렬합니다. 두 번째 단계에서는 생성 모델이 이 Fusion Embedding을 조건으로 사용하여 목표 이미지를 생성합니다. 마치 예술가가 스케치(목표 자세)와 모델(소스 이미지)을 종합하여 완성작을 그리는 것과 같은 과정입니다.
연구팀은 DeepFashion과 RWTH-PHOENIX-Weather 2014T 데이터셋을 사용하여 FPDM을 평가했습니다. 정량적 및 정성적 평가 결과, FPDM은 기존 최고 성능(SOTA) 모델들을 능가하는 성능을 보였습니다. 더욱 놀라운 것은, ablation study를 통해 두 번째 단계만을 사용하는 모델도 다른 SOTA 모델들과 유사한 성능을 달성했다는 점입니다. 이는 Fusion Embedding의 효율성을 보여주는 중요한 결과입니다.
이 연구의 코드는 GitHub (https://github.com/dhlee-work/FPDM)에서 공개되어, 다른 연구자들의 재현성과 발전에 기여할 것으로 기대됩니다. 이러한 개방성은 AI 연구의 발전에 중요한 역할을 할 뿐만 아니라, 향후 인물 이미지 합성 기술의 다양한 응용 분야(예: 패션, 게임, 영화)에서 혁신적인 발전을 가져올 것으로 예상됩니다. FPDM의 등장은 단순한 기술적 진보를 넘어, 인공지능 기반 창작의 새로운 지평을 열었다는 데 그 의미가 있습니다.
참고: 본 기사는 제공된 정보를 바탕으로 작성되었으며, 과학적 정확성을 유지하기 위해 노력했습니다.
Reference
[arxiv] Fusion Embedding for Pose-Guided Person Image Synthesis with Diffusion Model
Published: (Updated: )
Author: Donghwna Lee, Kyungha Min, Kirok Kim, Seyoung Jeong, Jiwoo Jeong, Wooju Kim
http://arxiv.org/abs/2412.07333v1