딥러닝 혁명의 새 장을 열다: 영역 적응형 샘플링(RAS)으로 확산 트랜스포머의 속도를 2배 이상 향상시키다!

Liu Ziming 등 연구진이 개발한 영역 적응형 샘플링(RAS)은 확산 트랜스포머의 속도를 최대 2.51배 향상시키는 획기적인 기술입니다. Stable Diffusion 3과 Lumina-Next-T2I에 적용하여 속도 향상과 동시에 품질 저하를 최소화했으며, 사용자 연구를 통해 실제 성능을 검증했습니다. 이는 실시간 AI 응용 분야에 큰 영향을 미칠 것으로 예상됩니다.

최근 몇 년간, 확산 모델(Diffusion Models, DMs) 은 이미지 생성 분야를 혁신적으로 바꿔놓았습니다. 하지만, 여러 단계의 순차적 전방 패스에 의존하는 DMs의 고질적인 문제점은 바로 속도였습니다. 실시간 응용에는 여전히 한계가 있었죠. 기존의 가속화 방법들은 샘플링 단계를 줄이거나 중간 결과를 재사용하는 데 초점을 맞춰왔지만, 컨볼루션 U-Net 구조의 한계로 인해 이미지 내 공간 영역의 변화를 충분히 활용하지 못했습니다.

이러한 문제를 해결하고자, Liu Ziming 등 7명의 연구진은 영역 적응형 샘플링(Region-Adaptive Sampling, RAS) 이라는 획기적인 샘플링 전략을 제시했습니다. 그들은 확산 트랜스포머(Diffusion Transformers, DiTs) 의 유연성에 주목했습니다. DiTs는 가변적인 토큰 수를 처리할 수 있는 강점을 가지고 있죠. RAS는 DiT 모델의 초점에 따라 이미지 내 영역에 동적으로 다른 샘플링 비율을 할당하는 훈련이 필요 없는 새로운 전략입니다.

핵심 아이디어는 다음과 같습니다. 각 샘플링 단계에서 모델은 의미론적으로 중요한 영역에 집중하며, 이러한 초점 영역은 연속적인 단계에서 강한 연속성을 보입니다. RAS는 이러한 통찰력을 활용하여 현재 초점이 맞춰진 영역만 업데이트하고, 다른 영역은 이전 단계의 캐싱된 노이즈를 사용합니다. 모델의 초점은 이전 단계의 출력을 기반으로 결정되며, 관찰된 시간적 일관성을 활용합니다.

연구진은 Stable Diffusion 3과 Lumina-Next-T2I에서 RAS를 평가하여 각각 최대 2.36배, 2.51배의 속도 향상을 달성했습니다. 놀랍게도, 이미지 생성 품질 저하는 거의 없었습니다. 더 나아가, 사용자 연구를 통해 RAS가 1.6배의 속도 향상과 동시에 사람의 평가에서도 비슷한 품질을 제공한다는 것을 확인했습니다.

이 연구는 실시간 응용을 위한 확산 트랜스포머의 잠재력을 크게 높이는 중요한 발걸음입니다. RAS는 단순한 속도 향상을 넘어, 딥러닝 모델의 효율성과 실용성을 한 단계 끌어올리는 혁신적인 기술로 평가받을 만합니다. 앞으로 이 기술이 어떻게 활용될지, 그리고 어떤 새로운 가능성을 열어갈지 기대됩니다! 🎉