Show-o Turbo: 다중 모달 이해 및 생성의 속도 혁신

Show-o Turbo는 기존 Show-o 모델의 속도 문제를 해결하고, 일관성 증류(CD) 기법과 궤적 분할 전략, 커리큘럼 학습을 통해 텍스트-이미지 및 이미지-텍스트 생성에서 속도와 성능을 모두 향상시킨 통합 다중 모달 모델입니다.

Show-o Turbo: 속도와 성능, 두 마리 토끼를 잡다!

최근 통합된 다중 모달 이해 및 생성 모델에 대한 연구가 활발합니다. 그 중에서도 Show-o는 텍스트-이미지 및 이미지-텍스트 생성 모두에서 뛰어난 성능을 보여주는 주목할 만한 모델로 자리매김했습니다. 하지만 Show-o는 이미지 토큰의 점진적 잡음 제거와 텍스트 토큰의 자동 회귀적 디코딩 과정으로 인해 속도가 느린 단점을 가지고 있었습니다.

Xu Wang 등 6명의 연구원이 개발한 Show-o Turbo는 이러한 문제를 해결하기 위해 등장했습니다. 연구팀은 Show-o의 이미지와 텍스트 생성에 대한 통합된 잡음 제거 관점을 제시하고, 확산 모델의 잡음 제거 과정을 단축하는 데 효과적인 일관성 증류(CD) 기법을 Show-o의 다중 모달 잡음 제거 궤적에 확장했습니다. 더 나아가, 궤적 분할 전략과 커리큘럼 학습 절차를 도입하여 학습 과정의 수렴성을 높였습니다.

놀라운 결과가 나타났습니다. 텍스트-이미지 생성에서 Show-o Turbo는 분류기 없는 안내(CFG) 없이 4단계 샘플링으로 0.625의 GenEval 점수를 달성했습니다. 이는 기존 Show-o가 8단계 샘플링과 CFG를 사용했을 때의 성능을 뛰어넘는 결과입니다. 이미지-텍스트 생성에서는 성능 저하 없이 1.5배의 속도 향상을 이뤄냈습니다.

Show-o Turbo는 속도와 성능이라는 두 마리 토끼를 모두 잡은 혁신적인 모델입니다. 이 연구는 다중 모달 모델의 효율성 향상에 중요한 기여를 할 것으로 기대되며, GitHub(https://github.com/zhijie-group/Show-o-Turbo)에서 코드를 확인할 수 있습니다.

한줄 요약: Show-o Turbo는 기존 Show-o 모델의 속도 문제를 해결하고 성능을 향상시킨 획기적인 다중 모달 이해 및 생성 모델입니다.