잠재적 요소의 강화: 샘플링 오류 합성을 통한 이미지 생성 향상

본 논문은 이미지 생성 모델의 토크나이저 성능 향상을 위한 혁신적인 방법을 제시합니다. 샘플링 오류를 합성하여 토크나이저를 훈련하는 새로운 기법과, 토크나이저의 성능을 정확하게 평가하는 새로운 지표 pFID를 제안하며, 실험 결과를 통해 그 효과를 입증합니다.

최근 이미지 생성 기술은 미리 구성된 잠재 공간에서 이미지 분포를 포착하는 방식을 주로 사용합니다. 고정된 이미지 토크나이저의 성능이 이미지 생성 성공에 매우 중요하지만, 기존의 rFID와 같은 평가 지표는 토크나이저의 성능을 정확하게 평가하고 생성 품질(gFID)과의 상관관계를 제대로 나타내지 못하는 한계가 있었습니다.

Kai Qiu를 비롯한 10명의 연구진은 이러한 문제점을 해결하기 위해, 잠재 공간에서 재구성 품질과 생성 품질의 차이를 분석하고, 혁신적인 플러그 앤 플레이 토크나이저 훈련 기법을 제안했습니다. 핵심은 잠재적 섭동(latent perturbation) 접근 방식을 통해 생성 과정에서 발생할 수 있는 예상치 못한 토큰(unexpected tokens) 즉, 샘플링 잡음을 모사하는 것입니다.

이를 통해 연구진은 (1) 토크나이저의 성능과 생성 품질 간의 상관관계를 성공적으로 나타내는 새로운 평가 지표 pFID 와 (2) 토크나이저의 강건성을 크게 향상시켜 생성 품질과 수렴 속도를 높이는 플러그 앤 플레이 토크나이저 훈련 기법을 제시했습니다.

11개의 최첨단 이산 이미지 토크나이저와 2개의 자동 회귀 생성 모델을 이용한 광범위한 벤치마킹 결과, 제안된 잠재적 섭동 기법으로 훈련된 토크나이저는 분류기 없는 안내(CFG)를 사용하여 1.60 gFID, CFG 없이 3.45 gFID의 주목할 만한 성능을 약 4억 개의 매개변수를 가진 생성 모델에서 달성했습니다. 이는 기존 방식 대비 상당한 향상입니다. 코드는 GitHub 에서 확인할 수 있습니다.

이 연구는 이미지 생성 모델의 성능 향상에 중요한 발견이며, 향후 이미지 생성 기술의 발전에 크게 기여할 것으로 예상됩니다. 특히, 샘플링 잡음을 고려한 강건한 토크나이저 훈련 기법은 다양한 이미지 생성 모델에 적용 가능하며, 생성 품질 향상에 중요한 역할을 할 것으로 기대됩니다. 하지만, pFID 지표의 범용성 및 다양한 이미지 데이터셋에 대한 추가적인 검증이 필요할 것으로 보입니다.