샘플링 에러를 극복한 강력한 잠재 변수: 이미지 생성의 혁신

Kai Qiu 등 연구진이 잠재 변동을 활용한 새로운 토크나이저 훈련 기법을 제시하여 이미지 생성 품질을 향상시켰습니다. pFID라는 새로운 평가 지표와 함께, 기존의 한계를 극복하고 생성 품질과 수렴 속도를 개선하는 괄목할 만한 성과를 달성했습니다.

최근 이미지 생성 기술은 고정된 이미지 토크나이저에 의존하는 사전 구성된 잠재 공간에서 이미지 분포를 포착하는 방식을 주로 사용해 왔습니다. 토크나이저의 성능이 이미지 생성 성공에 매우 중요하지만, 기존의 rFID와 같은 평가 지표는 토크나이저의 성능을 정확하게 평가하고 생성 품질(gFID)과의 상관관계를 제대로 파악하지 못하는 한계를 가지고 있었습니다.

Kai Qiu 등 10명의 연구진은 이러한 문제점을 해결하기 위해, 이산 잠재 공간에서 재구성과 생성 품질의 불일치 원인을 분석하고, 혁신적인 플러그 앤 플레이 방식의 토크나이저 훈련 기법을 제안했습니다. 핵심은 잠재 변동(latent perturbation) 접근 방식입니다. 이는 생성 과정에서 예상치 못한 토큰이 샘플링되는 샘플링 노이즈를 시뮬레이션하는 기술입니다.

잠재 변동을 통해 연구진은 다음과 같은 두 가지 성과를 달성했습니다.

1. pFID: 토크나이저 성능과 생성 품질 간의 상관관계를 성공적으로 분석하는 새로운 평가 지표를 제시했습니다. 기존 지표의 한계를 극복하고 더욱 정확한 성능 평가를 가능하게 했습니다.
2. 플러그 앤 플레이 토크나이저 훈련 기법: 잠재 변동을 활용하여 토크나이저의 강건성을 크게 향상시키는 훈련 기법을 제시했습니다. 이를 통해 생성 품질과 수렴 속도를 모두 향상시켰습니다.

11개의 최첨단 이산 이미지 토크나이저와 2개의 자동 회귀 생성 모델을 사용한 광범위한 벤치마킹을 통해 이 접근 방식의 유효성을 검증했습니다. 특히, 제안된 잠재 변동으로 훈련된 토크나이저는 분류기가 없는 안내(CFG)를 사용하여 1.60 gFID, CFG 없이 3.45 gFID라는 주목할 만한 결과를 약 4억 매개변수의 생성기로 달성했습니다. 이는 기존 기술에 비해 상당한 개선을 의미합니다. (코드: https://github.com/lxa9867/ImageFolder)

이 연구는 이미지 생성 분야에서 토크나이저의 중요성을 재확인하고, 보다 정확하고 효율적인 토크나이저 훈련 방법을 제시함으로써 향후 이미지 생성 기술 발전에 크게 기여할 것으로 기대됩니다. 잠재 변동 기법은 이미지 생성뿐만 아니라 다른 딥러닝 분야에도 적용 가능한 범용적인 기술로서, 향후 연구의 중요한 방향을 제시할 것으로 예상됩니다.