셀프-에볼빙 AI: 스스로 진화하는 이미지 생성 모델의 탄생

중국 연구진이 개발한 재귀적 자기 개선(RSI) 기반의 텍스트-이미지 확산 모델은 합성 데이터 학습의 한계를 극복하고, 지각 정렬 및 환각 문제를 해결하여 모델의 자율적 발전을 가능하게 합니다. 이 연구는 프롬프트 개선, 선호도 기반 샘플링, 분포 기반 가중치 부여 등의 전략을 통해 더욱 현실적이고 질 높은 이미지 생성을 가능하게 합니다.

최근 중국 연구진(Xulu Zhang 외 6명)이 발표한 논문 "Generating on Generated: An Approach Towards Self-Evolving Diffusion Models"은 인공지능 분야에 새로운 지평을 열었습니다. 이 논문은 재귀적 자기 개선(Recursive Self-Improvement, RSI) 이라는 혁신적인 접근 방식을 통해 텍스트-이미지 확산 모델의 자율적 발전을 가능하게 하는 연구 결과를 담고 있습니다.

기존의 텍스트-이미지 생성 모델 학습은 합성 데이터에 의존하는 경우가 많았습니다. 하지만 합성 데이터 학습에는 지각 정렬 부족과 생성적 환각(hallucination) 누적이라는 큰 문제점이 존재했습니다. 즉, 모델이 생성하는 이미지가 텍스트 프롬프트와 일치하지 않거나, 현실과 동떨어진 비현실적인 이미지를 생성하는 경우가 빈번했던 것입니다.

이 연구진은 이러한 문제를 해결하기 위해 세 가지 핵심 전략을 제시합니다.

1. 프롬프트 구성 및 필터링 파이프라인: 보다 정확하고 지각적으로 일치하는 데이터를 생성하기 위해 프롬프트 생성 과정을 개선하고, 부적절한 데이터를 필터링하는 시스템을 구축했습니다.
2. 선호도 기반 샘플링: 인간의 선호도를 기반으로 생성된 이미지를 평가하고, 환각이 포함된 이미지를 걸러내는 방법을 개발했습니다. 이는 모델이 더욱 현실적이고 사용자의 기대에 부합하는 이미지를 생성하도록 유도합니다.
3. 분포 기반 가중치 부여: 환각 오류가 포함된 샘플에 패널티를 부여하는 분포 기반 가중치 부여 기법을 통해 모델의 학습 과정을 개선했습니다. 이를 통해 환각 현상을 최소화하고, 이미지의 질을 향상시켰습니다.

이 연구는 RSI를 통해 텍스트-이미지 확산 모델이 자체적으로 성능을 개선하고 진화할 수 있음을 보여주는 중요한 성과입니다. 앞으로 이러한 자기 발전형 AI 모델은 더욱 발전하여 더욱 정교하고 현실적인 이미지 생성, 그리고 다양한 분야에서의 혁신적인 응용을 가능하게 할 것으로 기대됩니다. 하지만, 이러한 기술의 윤리적, 사회적 함의에 대한 고려도 함께 이루어져야 할 것입니다.