RandAR: 랜덤 순서로 이미지를 생성하는 혁신적인 AI 모델 등장!


MIT와 Google 연구진이 개발한 RandAR은 랜덤 순서로 이미지를 생성하는 혁신적인 AI 모델입니다. 위치 지시 토큰과 랜덤 순서 학습, 병렬 디코딩 및 KV-Cache 기술을 통해 속도와 품질을 동시에 향상시켰으며, Zero-shot 방식으로 다양한 작업을 지원합니다. 이미지 생성 분야의 새로운 지평을 열 것으로 기대됩니다.

related iamge

랜덤 순서로 이미지를 생성하는 혁신적인 AI 모델, RandAR

최근 이미지 생성 분야에서 획기적인 발전이 있었습니다. MIT, Google 등의 연구진이 공동 개발한 RandAR 이라는 새로운 AI 모델이 등장하여 주목받고 있습니다. 기존의 이미지 생성 모델들이 특정 순서(주로 래스터 순서)에 따라 픽셀을 생성하는 것과 달리, RandAR은 임의의 순서로 픽셀을 생성할 수 있다는 점에서 혁신적입니다.

핵심 기술: 위치 지시 토큰과 랜덤 순서 학습

RandAR의 핵심은 바로 **'위치 지시 토큰'**입니다. 각 이미지 토큰(픽셀) 앞에 위치 정보를 나타내는 토큰을 삽입하여, 모델이 임의의 순서로 픽셀을 생성하더라도 위치를 정확하게 파악할 수 있도록 합니다. 이는 마치 퍼즐 조각을 랜덤하게 섞어놓고 조립하는 것과 같습니다. 하지만 RandAR은 이 랜덤하게 섞인 조각들을 완벽하게 하나의 이미지로 조립해냅니다.

이러한 임의 순서 학습은 모델에게 더욱 강력한 학습 과정을 제공합니다. 고정된 순서로만 학습하는 모델보다 더욱 다양하고 복잡한 패턴을 학습할 수 있게 되는 것입니다. 결과적으로 RandAR은 기존의 래스터 순서 기반 모델과 비슷한 성능을 보이면서도 새로운 기능을 갖추게 되었습니다.

효율성 향상: 병렬 디코딩과 KV-Cache

자기회귀 모델(AR model)의 고질적인 문제점 중 하나는 속도입니다. RandAR은 이 문제를 해결하기 위해 병렬 디코딩과 KV-Cache 기술을 활용했습니다. 이는 마치 여러 명의 작업자가 동시에 퍼즐 조각을 조립하는 것과 같아, 속도를 2.5배나 향상시키는 결과를 가져왔습니다. 놀라운 점은 속도 향상에도 불구하고 이미지 생성 품질이 전혀 저하되지 않았다는 점입니다.

Zero-shot 기능: Inpainting, Outpainting, 해상도 외삽

RandAR은 Zero-shot 방식으로 이미지 복원(inpainting), 이미지 확장(outpainting), 해상도 외삽 등 다양한 작업을 수행할 수 있습니다. 추가적인 학습 없이도 다양한 작업을 수행할 수 있다는 것은 RandAR의 높은 유연성과 범용성을 보여줍니다.

결론: 새로운 시각적 생성 모델의 지평을 열다

RandAR은 디코더 전용 시각적 생성 모델에 새로운 가능성을 제시하는 획기적인 연구 결과입니다. 임의의 순서로 이미지를 생성하는 능력은 이미지 생성 분야에 새로운 패러다임을 제시할 뿐만 아니라, 다양한 응용 분야에서 활용될 수 있을 것으로 기대됩니다. RandAR의 등장은 AI 기반 이미지 생성 기술의 발전에 한 획을 그을 것으로 예상됩니다. 자세한 내용은 프로젝트 페이지를 참고하세요.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] RandAR: Decoder-only Autoregressive Visual Generation in Random Orders

Published:  (Updated: )

Author: Ziqi Pang, Tianyuan Zhang, Fujun Luan, Yunze Man, Hao Tan, Kai Zhang, William T. Freeman, Yu-Xiong Wang

http://arxiv.org/abs/2412.01827v1