다음 블록 예측(NBP): 반자동 회귀 모델을 이용한 비디오 생성의 혁신

Shuhuai Ren 등 연구팀이 개발한 Next-Block Prediction(NBP) 모델은 기존 자동회귀 비디오 생성 모델의 속도 및 성능 한계를 극복했습니다. 블록 단위 예측과 양방향 어텐션을 통해 UCF101과 K600 데이터셋에서 우수한 성능을 보였으며, 기존 모델 대비 11배 빠른 속도를 달성했습니다.

다음 블록 예측(NBP): 비디오 생성의 속도와 품질을 동시에 잡다!

최근 딥러닝 기술의 발전으로 비디오 생성 분야는 눈부신 발전을 이루고 있습니다. 하지만 기존의 자동회귀(AR) 모델들은 토큰 단위 예측으로 인해 속도가 느리고, 단방향 의존성으로 인해 성능에 한계가 있었습니다. 렌, 마, 선, 웨이 연구팀은 이러한 문제점을 해결하기 위해 다음 블록 예측(Next-Block Prediction, NBP) 이라는 혁신적인 반자동 회귀(semi-AR) 프레임워크를 제안했습니다.

블록 단위 예측: 속도와 효율의 극대화

NBP의 핵심은 비디오 콘텐츠를 동일한 크기의 블록(예: 행 또는 프레임)으로 나누어, 각 블록 내의 토큰들이 동시에 다음 블록의 해당 토큰을 예측하도록 하는 것입니다. 이를 통해 기존의 토큰 단위 예측 방식보다 훨씬 빠른 속도로 비디오를 생성할 수 있습니다. 뿐만 아니라, 각 블록 내에서 양방향 어텐션을 활용하여 보다 강력한 공간적 의존성을 포착함으로써 생성 품질도 향상시켰습니다.

놀라운 성능 향상: 속도와 품질의 완벽 조화

연구팀은 UCF101 및 K600 데이터셋을 사용하여 NBP 모델의 성능을 평가했습니다. 그 결과, NBP 모델은 기존의 NTP(Next-Token Prediction) 모델보다 평균 4.4의 FVD(Fréchet Video Distance) 점수 개선을 달성했습니다. UCF101 데이터셋에서는 103.3에서 55.3으로, K600 데이터셋에서는 25.5에서 19.5로 FVD 점수가 감소했습니다. 더욱 놀라운 점은, NBP 모델은 1초에 8.89프레임(128x128 해상도)을 생성하여, 기존 모델 대비 무려 11배의 속도 향상을 보였습니다. 이는 7억~30억 개의 파라미터를 가진 다양한 규모의 모델에서도 일관되게 나타났습니다.

결론: 비디오 생성의 새로운 지평을 열다

NBP 모델은 비디오 생성의 속도와 품질을 동시에 향상시킨 획기적인 기술입니다. 블록 단위 예측과 양방향 어텐션의 조합은 비디오 생성 분야의 새로운 표준을 제시하며, 앞으로 더욱 발전된 비디오 생성 기술 개발에 중요한 기여를 할 것으로 기대됩니다. 이 연구는 모델 크기 확장에 따른 성능 향상을 통해 NBP의 확장성 또한 입증하였습니다. 이는 향후 더욱 복잡하고 고품질의 비디오 생성을 가능하게 할 것입니다.