텍스트로 옷을 입혀보세요: PromptDresser가 선사하는 가상 피팅의 혁신
김정호, 진호영, 박성현, 추재걸 연구팀의 PromptDresser는 텍스트 프롬프트 기반의 혁신적인 가상 피팅 기술로, 대규모 다중 모달 모델(LMM)을 활용하여 고품질의 다양한 의류 스타일 조작을 가능하게 합니다. 텍스트 설명을 통해 이미지만으로는 표현하기 어려운 디테일까지 구현하며 가상 피팅 기술의 새로운 기준을 제시합니다.

최근 딥러닝 기술의 발전으로 가상 피팅 기술이 눈부시게 발전하고 있습니다. 하지만 기존 기술들은 여전히 한계를 가지고 있었습니다. 이러한 한계를 극복하기 위해, 김정호, 진호영, 박성현, 추재걸 연구팀이 개발한 PromptDresser가 등장했습니다.
PromptDresser는 텍스트 프롬프트를 기반으로 가상 피팅을 구현하는 혁신적인 기술입니다. 단순히 이미지만으로 피팅을 하는 것이 아니라, 사용자가 원하는 스타일, 예를 들어 셔츠를 넣어 입을지, 어떤 핏을 원하는지 등을 텍스트로 입력하여 원하는 스타일을 구현합니다. 이는 기존의 이미지 기반 가상 피팅 방식의 한계를 뛰어넘는 획기적인 시도입니다.
연구팀은 이를 위해 세 가지 주요 과제에 집중했습니다. 첫째, 모델 학습을 위해 사람과 옷의 데이터에 대한 풍부한 텍스트 설명을 설계하는 것이었습니다. 둘째, 기존 옷의 텍스트 정보가 새로운 옷 생성에 방해되는 충돌 문제를 해결해야 했습니다. 마지막으로, 텍스트 설명에 맞춰 인페인팅 마스크를 적응적으로 조정하여 편집 영역을 정확히 설정하면서 원래 사람의 모습은 보존해야 했습니다.
이러한 과제를 해결하기 위해 연구팀은 대규모 다중 모달 모델(LMM) 을 활용했습니다. LMM을 통해 사람과 옷 이미지에 대한 상세한 텍스트 설명을 최소한의 인력으로 생성하고, 자세한 정보와 편집 속성까지 포함하도록 했습니다. 또한, 텍스트 프롬프트에 따라 인페인팅 마스크를 동적으로 조정하여 편집 영역을 정확하게 제어했습니다.
결과적으로 PromptDresser는 고품질의 다양한 스타일 조작을 가능하게 했습니다. 특히, 이미지만으로는 표현하기 어려운 세부적인 의류 정보까지 텍스트를 통해 효과적으로 전달하여 이미지 품질을 향상시켰습니다. 이는 가상 피팅 기술의 새로운 지평을 열었다고 평가할 수 있습니다.
더 자세한 내용은 GitHub 에서 확인할 수 있습니다. ✨
Reference
[arxiv] PromptDresser: Improving the Quality and Controllability of Virtual Try-On via Generative Textual Prompt and Prompt-aware Mask
Published: (Updated: )
Author: Jeongho Kim, Hoiyeong Jin, Sunghyun Park, Jaegul Choo
http://arxiv.org/abs/2412.16978v1