다음 블록 예측: 준자동회귀 모델을 이용한 비디오 생성의 혁신

렌 슈화이 등 연구팀의 '다음 블록 예측' 논문은 준자동회귀 모델을 이용해 비디오 생성의 속도와 품질을 크게 향상시켰습니다. 블록 단위 처리와 양방향 어텐션을 통해 기존 방식보다 훨씬 빠르고 효율적인 비디오 생성이 가능해졌습니다.

렌 슈화이, 마 슈밍, 선 쉬, 위 푸루 연구팀이 발표한 논문 "다음 블록 예측: 준자동회귀 모델을 이용한 비디오 생성"은 비디오 생성 분야에 혁신적인 접근 방식을 제시합니다. 기존의 다음 토큰 예측(NTP) 방식은 단방향 의존성과 느린 추론 속도라는 한계를 가지고 있었습니다. 이에 연구팀은 준자동회귀(semi-AR) 프레임워크인 다음 블록 예측(NBP) 을 제안합니다.

NBP는 비디오 콘텐츠를 크기가 같은 블록(예: 행 또는 프레임)으로 나누어 개별 토큰 대신 블록 단위로 생성합니다. 현재 블록의 각 토큰은 다음 블록의 해당 토큰을 동시에 예측하는 방식입니다. 이는 기존의 AR 모델링과 달리 각 블록 내에서 양방향 어텐션을 사용하여 더욱 강력한 공간적 의존성을 포착할 수 있도록 합니다.

여기서 가장 주목할 만한 점은 병렬 처리를 통한 속도 향상입니다. NBP는 여러 토큰을 동시에 예측함으로써 생성 단계 수를 크게 줄여 추론 속도를 비약적으로 높입니다. 실험 결과, UCF101 데이터셋에서 103.3, K600 데이터셋에서 25.5의 FVD 점수를 달성하여 기존 NTP 모델보다 평균 4.4 향상된 성능을 보였습니다. 더욱 놀라운 것은, 추론 단계 감소 덕분에 초당 8.89프레임(128x128 해상도)을 생성하여 11배의 속도 향상을 달성했다는 점입니다.

뿐만 아니라, 연구팀은 7억~30억 매개변수 규모의 모델을 실험하여 모델 크기가 클수록 생성 품질이 향상됨을 확인했습니다. UCF101 데이터셋에서 FVD 점수는 103.3에서 55.3으로, K600 데이터셋에서는 25.5에서 19.5로 감소했습니다. 이는 NBP 접근 방식의 확장성을 보여주는 중요한 결과입니다.

이 연구는 비디오 생성 분야의 발전에 크게 기여할 것으로 예상되며, 향후 고품질 비디오 생성 기술 발전에 중요한 전환점이 될 것으로 기대됩니다. 더욱 빠르고 효율적인 비디오 생성 기술은 다양한 분야, 특히 실시간 비디오 처리가 필요한 분야에서 혁신적인 변화를 가져올 것입니다. 이는 AI 기반 비디오 편집, 게임 개발, 실시간 스트리밍 등 여러 분야에 긍정적인 영향을 미칠 것으로 예상됩니다. 💥