확산 모델에서 보상 기반 생성을 이용한 추론 시간 정렬: 튜토리얼 및 검토
본 논문은 확산 모델의 추론 시간에 보상을 활용하여 생성 결과를 최적화하는 새로운 방법들을 제시합니다. 기존 방법들의 통합적 분석과 새로운 알고리즘, 다양한 분야와의 연관성에 대한 논의를 통해 확산 모델의 응용 범위를 획기적으로 확장하는 데 기여할 것으로 예상됩니다.

생성 AI의 새로운 지평을 열다: 보상 기반 생성을 이용한 확산 모델의 추론 시간 정렬
2025년 1월, AI 연구계에 흥미로운 논문이 등장했습니다. Masatoshi Uehara를 비롯한 7명의 저명한 연구자들이 발표한 "Inference-Time Alignment in Diffusion Models with Reward-Guided Generation: Tutorial and Review" 논문은 확산 모델(Diffusion Models)의 추론 과정에서 보상(Reward)을 활용하여 생성 결과를 최적화하는 방법을 심도 있게 다룹니다.
기존의 확산 모델은 현실적인 샘플 생성에 탁월하지만, 특정 지표(예: 단백질의 안정성, 표적 구조와의 근접성)를 최대화하는 샘플 생성이 필요한 생물학 등의 분야에서는 한계를 보였습니다. 이 논문은 이러한 한계를 극복하기 위해 추론 시간에 직접적으로 목표 지표를 최대화하는 방법을 제시합니다. 미세 조정 없이도 말이죠!
핵심은 '추론 시간 정렬(Inference-Time Alignment)'입니다. 논문은 순차적 몬테카를로(SMC) 기반 안내, 가치 기반 샘플링, 분류기 안내 등 기존의 다양한 방법들을 통합적으로 분석합니다. 이러한 방법들은 모두 **'소프트 최적 잡음 제거 프로세스'**를 근사화하는데 목표를 두고 있으며, 사전 훈련된 잡음 제거 프로세스와 미래 상태에서의 보상을 예측하는 가치 함수를 결합합니다. 마치 강화학습(Reinforcement Learning)의 정책(Policy)처럼 말이죠.
단순한 검토에 그치지 않습니다. 논문은 기존 연구에서는 다루지 않았던 새로운 알고리즘을 제시하고, (1) 미세 조정과 추론 시간 기법의 결합, (2) 몬테카를로 트리 탐색과 같은 탐색 알고리즘 기반 추론 시간 알고리즘, (3) 언어 모델과 확산 모델 간의 연관성 등을 폭넓게 논의합니다.
특히 단백질 디자인 분야에 적용된 코드는 깃허브(https://github.com/masa-ue/AlignInversePro)에서 공개되어, 다른 연구자들의 활용과 발전을 촉진할 것으로 기대됩니다. 이 연구는 확산 모델의 응용 범위를 넓히고, 보다 실용적인 AI 모델 개발을 위한 중요한 이정표를 제시할 것으로 보입니다. 단백질 디자인 뿐 아니라 다양한 분야에서 혁신적인 가능성을 열어줄 이 연구에 앞으로의 관심이 집중될 것입니다.
Reference
[arxiv] Inference-Time Alignment in Diffusion Models with Reward-Guided Generation: Tutorial and Review
Published: (Updated: )
Author: Masatoshi Uehara, Yulai Zhao, Chenyu Wang, Xiner Li, Aviv Regev, Sergey Levine, Tommaso Biancalani
http://arxiv.org/abs/2501.09685v2