이미지 생성의 혁신: OmniPrism, 개념을 분리하는 마법
중국과학원 연구팀이 개발한 OmniPrism은 자연어와 이미지를 결합한 다중 모달 방식으로 이미지 생성 개념을 분리하는 혁신적인 기술입니다. 20만 쌍의 이미지 데이터셋과 대조적 직교 분리(COD) 학습 파이프라인을 통해 고품질의 개념 분리 이미지 생성에 성공, 기존 기술의 한계를 극복했습니다.

단일 개념에 국한된 기존 이미지 생성 기술의 한계를 넘어서다!
참조 이미지의 특정 개념에서 영감을 얻어 관련 결과물을 생성하는 창의적인 시각 개념 생성. 하지만 기존 방법들은 단일 측면 개념 생성에 국한되거나 다중 측면 개념 시나리오에서 무관한 개념에 쉽게 흔들려 개념 혼란을 야기하고 창의적인 생성을 방해했습니다. 이러한 문제를 해결하기 위해 등장한 것이 바로 OmniPrism입니다.
OmniPrism: 자연어와 이미지의 만남, 개념의 분리
중국과학원(CAS) 산하 연구팀이 개발한 OmniPrism은 창의적인 이미지 생성을 위한 시각적 개념 분리 접근 방식입니다. 자연어 지시와 이미지 분석을 결합한 다중 모달 추출기를 활용하여 주어진 이미지에서 개념을 분리하고, 이를 기반으로 확산 모델을 훈련하여 고품질 이미지를 생성합니다. 단순히 이미지를 생성하는 것을 넘어, 내용, 스타일, 구성 등 다양한 개념을 명확하게 분리하여 생성하는 것이 핵심입니다.
20만 쌍의 데이터와 혁신적인 학습 방식: PCD-200K & COD
연구팀은 서로 다른 의미를 가진 개념을 분리하기 위해, 내용, 스타일, 구성 등 동일한 개념을 공유하는 20만 쌍의 이미지 데이터셋(PCD-200K) 을 구축했습니다. 그리고 대조적 직교 분리(COD) 훈련 파이프라인을 통해 개념 표현을 분리하여 학습했습니다. 이렇게 분리된 개념들은 확산 모델의 추가적인 크로스 어텐션 레이어에 주입되어 생성 과정에 활용됩니다. 각 블록의 개념 영역을 조정하기 위해 블록 임베딩 세트도 설계되었습니다.
결과: 텍스트 프롬프트와 원하는 개념에 대한 높은 충실도
광범위한 실험 결과, OmniPrism은 텍스트 프롬프트와 원하는 개념에 대한 높은 충실도를 유지하면서 고품질의 개념 분리 결과를 생성하는 것으로 나타났습니다. 이는 기존 이미지 생성 모델의 한계를 뛰어넘는 획기적인 성과로 평가됩니다. Li Yangyang 등 연구진의 이번 연구는 이미지 생성 기술의 새로운 장을 열 것으로 기대됩니다.
향후 전망: OmniPrism은 단순한 이미지 생성을 넘어, 예술, 디자인, 엔터테인먼트 등 다양한 분야에서 창의적인 콘텐츠 제작에 혁신을 가져올 것으로 예상됩니다. 특히 개념을 명확하게 제어하여 생성하는 능력은 더욱 정교하고 예술적인 이미지 생성을 가능하게 할 것입니다.
Reference
[arxiv] OmniPrism: Learning Disentangled Visual Concept for Image Generation
Published: (Updated: )
Author: Yangyang Li, Daqing Liu, Wu Liu, Allen He, Xinchen Liu, Yongdong Zhang, Guoqing Jin
http://arxiv.org/abs/2412.12242v1