ECAR: 다단계 모델링을 통한 효율적인 연속 자기회귀 이미지 생성


중국 연구진이 개발한 ECAR은 다단계 모델링을 통해 연속 토큰 기반 자기회귀 이미지 생성 모델의 효율성을 크게 향상시켰습니다. 기존 모델과 유사한 이미지 품질을 유지하면서 FLOPs를 10배, 속도를 5배 향상시켰습니다.

related iamge

혁신적인 이미지 생성 기술, ECAR 등장!

최근 연속 토큰을 사용하는 자기회귀(AR) 모델이 이미지 생성 분야에서 주목받고 있습니다. 이러한 모델은 불필요한 이산화 과정을 없애고, 보다 자연스러운 이미지 생성을 가능하게 합니다. 하지만, 순차적인 토큰 생성 과정과 계산 집약적인 확산 기반 샘플링에 의존하기 때문에 효율성이 떨어지는 단점이 있었습니다.

중국 연구진(Zhihang Yuan 외 9명)은 이러한 문제를 해결하기 위해 ECAR(Efficient Continuous Auto-Regressive Image Generation via Multistage Modeling) 이라는 획기적인 방법을 제시했습니다. ECAR은 두 가지 혁신적인 기술을 결합하여 효율성을 극대화했습니다.

첫째, 단계별 연속 토큰 생성 전략을 통해 계산 복잡도를 줄였습니다. 이는 각 단계에서 점진적으로 개선된 토큰 맵을 계층적 조건으로 제공하여 효율성을 높이는 전략입니다.

둘째, 다단계 플로우 기반 분포 모델링 기법을 통해 부분적으로만 잡음 제거된 분포를 변환합니다. 기존 확산 모델과 달리 모든 단계에서 완전한 잡음 제거를 수행하지 않고, 부분적인 잡음 제거만으로도 충분한 성능을 얻을 수 있도록 설계되었습니다.

ECAR은 점차 해상도를 높여가면서 토큰을 생성하는 동시에 각 단계에서 이미지의 잡음을 제거합니다. 이러한 설계는 토큰-이미지 변환 비용을 단계 수만큼 감소시키고, 토큰 수준에서 병렬 처리를 가능하게 합니다. 연속 토큰 공간에서 작동하고, 거친 디테일에서 세밀한 디테일로 계층적으로 생성되는 과정은 이미지 생성 원리에도 자연스럽게 부합합니다.

실험 결과, ECAR은 DiT(Peebles & Xie, 2023)와 비슷한 이미지 품질을 유지하면서 256x256 이미지 생성에 필요한 FLOPs를 10배, 시간을 5배나 단축하는 놀라운 성능을 보였습니다. 이는 ECAR의 효율성이 압도적임을 보여주는 결과입니다.

이번 연구는 연속 토큰 기반 자기회귀 모델의 효율성 문제를 해결하는 중요한 발걸음이 될 것으로 기대됩니다. 앞으로 더욱 발전된 이미지 생성 기술의 개발에 크게 기여할 것으로 예상됩니다. ECAR의 등장은 이미지 생성 분야의 새로운 가능성을 열었습니다!


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] E-CAR: Efficient Continuous Autoregressive Image Generation via Multistage Modeling

Published:  (Updated: )

Author: Zhihang Yuan, Yuzhang Shang, Hanling Zhang, Tongcheng Fang, Rui Xie, Bingxin Xu, Yan Yan, Shengen Yan, Guohao Dai, Yu Wang

http://arxiv.org/abs/2412.14170v2