200만 개 토큰으로 이미지 생성의 새 지평을 열다: IBQ 기법의 등장


Tencent ARC 연구진이 개발한 IBQ 기법은 기존 벡터 양자화 방식의 한계를 극복하고, 200만 개 이상의 토큰을 사용한 대규모 코드북 학습을 가능하게 하여 자동회귀적 이미지 생성 분야에 혁신을 가져왔습니다. ImageNet 실험 결과를 통해 그 우수성이 입증되었으며, 공개된 코드와 모델은 후속 연구를 위한 중요한 자원이 될 것입니다.

related iamge

자동회귀적 이미지 생성 모델의 발전은 컴퓨터 비전 분야의 뜨거운 감자입니다. 특히, 벡터 양자화(VQ) 는 이미지를 이산적인 토큰으로 표현하여 효율적인 생성을 가능하게 하는 핵심 기술입니다. 하지만 기존 VQ 방식은 코드북의 크기가 커질수록 코드북 붕괴 문제로 인해 확장성에 한계를 보였습니다. 학습 과정에서 코드북의 일부만 업데이트되면서 활성화되지 않은 코드와 활성화된 코드 간의 분포 차이가 커지고, 결국 코드북의 성능이 저하되는 현상이 발생했던 것입니다.

이 문제를 해결하기 위해 등장한 것이 바로 인덱스 역전파 양자화(IBQ) 입니다. Tencent ARC의 Fengyuan Shi 등 연구진이 개발한 IBQ는 모든 코드북 임베딩과 시각적 인코더를 공동 최적화하는 새로운 VQ 방법입니다. 기존 방식과 달리, IBQ는 인코딩된 특징과 코드북 사이의 원-핫 범주형 분포에 직통 추정기를 적용하여 모든 코드를 미분 가능하게 만들었습니다. 이를 통해 시각적 인코더와 일관된 잠재 공간을 유지하며 대규모 코드북을 안정적으로 학습할 수 있게 된 것입니다.

IBQ의 놀라운 성능은 실험을 통해 입증되었습니다. ImageNet 데이터셋을 사용한 실험에서, IBQ는 2^18 (약 200만) 개의 고차원(256) 코드북을 사용하여 높은 활용도를 달성했습니다. 재구성 측면에서는 rFID 1.00의 경쟁력 있는 결과를, 자동회귀적 시각적 생성 측면에서는 gFID 2.05를 기록하며 기존 방식을 압도하는 성능을 보였습니다. 이는 대규모 코드북을 활용한 이미지 생성의 새로운 가능성을 제시하는 획기적인 결과입니다. 연구진은 https://github.com/TencentARC/SEED-Voken에서 코드와 모델을 공개하여, 다른 연구자들의 후속 연구를 지원하고 있습니다.

결론적으로, IBQ는 대규모 코드북을 효율적으로 활용하여 자동회귀적 이미지 생성의 정확도와 효율성을 크게 향상시킨 혁신적인 기술입니다. 이는 향후 고품질 이미지 생성 모델 개발에 중요한 이정표가 될 것으로 예상됩니다. 이 연구는 대규모 데이터셋을 활용한 AI 모델 개발의 새로운 가능성을 제시하며, 앞으로 더욱 발전된 AI 기반 이미지 생성 기술의 등장을 예고하고 있습니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Taming Scalable Visual Tokenizer for Autoregressive Image Generation

Published:  (Updated: )

Author: Fengyuan Shi, Zhuoyan Luo, Yixiao Ge, Yujiu Yang, Ying Shan, Limin Wang

http://arxiv.org/abs/2412.02692v1