RealGeneral: 시간적 맥락 학습을 통한 시각적 생성의 통합

RealGeneral은 비디오 모델을 활용하여 다양한 이미지 생성 작업을 단일 프레임워크로 통합하는 혁신적인 시각적 생성 모델입니다. 다중 모달 정렬과 모달 간섭 완화를 위한 핵심 모듈을 통해 기존 모델 대비 성능을 크게 향상시켰으며, 이미지 생성 분야의 새로운 가능성을 제시합니다.

단일 프레임워크로 다양한 이미지 생성 작업 통합: RealGeneral의 혁신

이미지 생성 분야에서 여러 작업을 단일 프레임워크로 통합하는 것은 오랫동안 어려운 과제였습니다. 대규모 언어 모델(LLM)은 작업과 무관한 데이터와 생성을 통해 통합을 달성하지만, 기존의 시각적 생성 모델은 이러한 원칙을 충족하지 못했습니다. 기존 방식은 작업별 데이터셋과 대규모 학습에 의존하거나, 사전 훈련된 이미지 모델을 작업별로 수정하여 일반화 성능이 제한적이었습니다.

Lin Yijing 등 연구진은 이러한 한계를 극복하기 위해 비디오 모델을 기반으로 한 새로운 프레임워크, RealGeneral을 제시했습니다. RealGeneral은 이미지 생성을 LLM의 맥락 학습과 유사한 조건부 프레임 예측 작업으로 재정의합니다. 비디오 모델과 조건 이미지 쌍 간의 차이를 해소하기 위해, 연구진은 다음 두 가지 핵심 모듈을 제안했습니다.

1. 통합 조건 임베딩 모듈(Unified Conditional Embedding module): 다중 모달 정렬을 위한 모듈
2. 통합 스트림 DiT 블록(Unified Stream DiT Block): 분리된 적응형 LayerNorm과 어텐션 마스크를 사용하여 다중 모달 간섭을 완화

RealGeneral은 사용자 지정 생성 작업에서 주제 유사도를 14.5% 향상시키고, Canny 이미지를 실제 이미지로 변환하는 작업에서 이미지 품질을 10% 향상시키는 등 다양한 시각적 생성 작업에서 효과를 입증했습니다. 이는 기존 방식 대비 괄목할 만한 성능 향상입니다. 이 연구는 단일 프레임워크로 다양한 이미지 생성 작업을 통합하는 새로운 가능성을 제시하며, 향후 시각적 생성 모델의 발전에 중요한 기여를 할 것으로 기대됩니다. 자세한 내용은 프로젝트 페이지 (https://lyne1.github.io/RealGeneral/)를 참조하십시오.

핵심: RealGeneral은 비디오 모델의 시간적 상관관계 모델링 능력을 활용하여 이미지 생성 작업을 통합함으로써, 기존 모델의 한계를 극복하고 일반화 성능을 크게 향상시켰습니다. 이는 이미지 생성 분야의 획기적인 발전으로 평가될 수 있습니다.