1조 개 시각 토큰으로 훈련된 AI 비디오 모델 Toto: 새로운 지평을 열다!


1조 개 이상의 시각 토큰으로 사전 훈련된 새로운 비디오 모델 Toto가 이미지 인식, 비디오 분류 등 다양한 분야에서 뛰어난 성능을 보였으며, 언어 모델과 유사한 스케일링 특징을 보이는 것을 확인했습니다.

related iamge

최근, Jathushan Rajasegaran, Ilija Radosavovic, Rahul Ravishankar, Yossi Gandelsman, Christoph Feichtenhofer, 그리고 Jitendra Malik 등 저명한 연구자들이 공동으로 진행한 연구에서 놀라운 결과가 발표되었습니다. 바로 Toto라는 이름의 혁신적인 자동 회귀 비디오 모델입니다.

Toto는 1조 개가 넘는 시각 토큰을 사용하여 사전 훈련되었습니다. 이는 비디오를 시각 토큰의 시퀀스로 취급하고, 변환기 모델을 훈련시켜 미래의 토큰을 자동으로 예측하는 획기적인 접근 방식입니다. 단순히 방대한 데이터를 사용한 것 뿐만 아니라, 다양한 아키텍처, 훈련 및 추론 설계 선택을 탐구하여 모델의 성능을 극대화했습니다.

그 결과는 놀랍습니다. 이미지 인식, 비디오 분류, 객체 추적, 그리고 로봇 공학 등 다양한 하위 작업에서 경쟁력 있는 성능을 보였습니다. 이는 최소한의 유도적 편향(inductive biases)만을 사용했음에도 불구하고 달성한 성과로, 자동 회귀 사전 훈련의 잠재력을 명확히 보여줍니다.

더욱 흥미로운 점은 Toto의 스케일링 곡선입니다. 연구팀은 Toto의 확장이 언어 모델과 유사한 곡선을 따른다는 것을 발견했습니다. 비록 그 속도는 다르지만, 이는 비디오 모델의 스케일링에 대한 중요한 통찰력을 제공합니다. 이는 향후 더욱 강력하고 정교한 비디오 모델 개발의 가능성을 시사합니다.

자세한 내용은 https://brjathu.github.io/toto/ 에서 확인하실 수 있습니다. Toto의 등장은 AI 비디오 처리 분야에 새로운 지평을 열었으며, 향후 다양한 응용 분야에서 혁신적인 발전을 가져올 것으로 기대됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] An Empirical Study of Autoregressive Pre-training from Videos

Published:  (Updated: )

Author: Jathushan Rajasegaran, Ilija Radosavovic, Rahul Ravishankar, Yossi Gandelsman, Christoph Feichtenhofer, Jitendra Malik

http://arxiv.org/abs/2501.05453v1