AI 이미지 생성의 혁신: 통합 연속 생성 모델 UCGM 등장

Peng Sun, Yi Jiang, Tao Lin 연구팀이 개발한 통합 연속 생성 모델 UCGM은 다단계 및 소수 단계 생성 모델을 통합하여 이미지 생성 성능과 효율성을 크게 향상시켰습니다. ImageNet 256x256 데이터셋에서 최고 성능을 기록했으며, 오픈소스로 공개되어 AI 연구 및 개발에 크게 기여할 것으로 예상됩니다.

최근 몇 년간, AI 이미지 생성 기술은 눈부신 발전을 거듭해 왔습니다. 특히 확산 모델과 같은 연속 생성 모델은 놀라운 수준의 이미지를 생성해내며 주목받고 있습니다. 하지만, 다단계 확산 모델 (8-1000개의 샘플링 단계 필요)과 소수 단계 일관성 모델 (1-8개의 단계 필요)은 서로 다른 방식으로 접근하여, 각각 별도의 학습 및 샘플링 방법론을 필요로 했습니다. 이러한 분리된 접근 방식은 연구와 개발의 효율성을 저해하는 요소였습니다.

이러한 문제를 해결하기 위해, Peng Sun, Yi Jiang, Tao Lin 연구팀이 통합 연속 생성 모델(Unified Continuous Generative Models, UCGM) 을 발표했습니다. UCGM은 다단계 및 소수 단계 접근 방식을 하나의 통합된 프레임워크로 통합하여, 학습과 샘플링 과정을 효율적으로 개선했습니다. UCGM-T와 UCGM-S라는 두 가지 변형 모델을 통해, 다단계 모델의 학습 및 소수 단계 모델의 샘플링 성능을 획기적으로 향상시켰습니다.

UCGM의 놀라운 성능:

• ImageNet 256x256 데이터셋을 사용한 실험에서, 675M 확산 트랜스포머를 기반으로 한 UCGM-T는 20단계에서 1.30 FID (Fréchet Inception Distance, 이미지 생성 모델 성능 척도)를 달성했습니다. 이는 단 2단계 만으로 1.42 FID를 달성한 소수 단계 모델과 비교해도 경쟁력 있는 결과입니다.
• 또한, UCGM-S를 사전 학습된 모델에 적용한 결과, 기존 250단계에서 1.26 FID였던 성능이 40단계 만에 1.06 FID로 개선되는 놀라운 결과를 보였습니다. 이는 단계 수를 크게 줄이면서도 성능을 향상시켰다는 점에서 큰 의미를 가집니다.

향후 전망:

UCGM의 오픈소스 공개 (https://github.com/LINs-lab/UCGM)는 AI 연구 및 개발에 큰 영향을 미칠 것으로 예상됩니다. 더욱 효율적이고 강력한 AI 이미지 생성 모델 개발을 위한 새로운 장을 열었으며, 다양한 분야에서 생성 AI 기술의 활용을 가속화할 것으로 기대됩니다. 하지만, 모델의 복잡성과 잠재적인 과도한 계산 비용에 대한 고려는 추가적인 연구가 필요한 부분입니다. 앞으로 UCGM을 기반으로 한 더욱 발전된 연구와 응용들이 기대됩니다.