Gemma 3 기술 보고서: 경량 다중 모달 모델의 혁신
Gemma 3은 다중 모달 기능, 다양한 언어 지원, 128K 토큰 이상의 긴 문맥 처리 능력을 갖춘 경량 오픈 모델로, 지역적/전역적 주의 레이어 비율 조정을 통한 효율적인 메모리 관리와 훈련 후 기술을 통해 기존 모델보다 뛰어난 성능을 달성했습니다. 모든 모델은 오픈 소스로 공개됩니다.
2025년 3월 25일 발표된 Gemma 3 기술 보고서는 경량 오픈 모델의 새로운 기준을 제시하며 AI 업계에 큰 반향을 불러일으켰습니다. Gemma 팀을 비롯한 수많은 연구자들이 참여한 이 프로젝트는 10억에서 270억 개의 매개변수를 가진 기존 Gemma 모델을 뛰어넘는, 다중 모달 기능을 갖춘 Gemma 3을 선보였습니다.
가장 주목할 만한 부분은 무엇일까요? 바로 비전 이해 능력의 추가입니다. 이제 Gemma 3은 이미지와 같은 시각 정보를 이해하고 처리할 수 있습니다. 이는 텍스트만을 처리하던 이전 모델과 비교하여 응용 가능성을 크게 확장시킨 중요한 발전입니다. 뿐만 아니라, 더욱 다양한 언어 지원과 128K 토큰 이상의 긴 문맥 처리 능력도 눈여겨볼 만합니다. 긴 문서나 복잡한 대화도 능숙하게 처리하며 기존 모델의 한계를 뛰어넘었습니다.
하지만 긴 문맥 처리에는 KV 캐시 메모리 문제가 발생할 수 있습니다. 메모리 용량이 급증하는 문제를 해결하기 위해, Gemma 3은 지역적 주의(local attention) 과 전역적 주의(global attention) 레이어의 비율을 조정하는 새로운 아키텍처를 채택했습니다. 지역적 주의의 범위를 짧게 유지하여 메모리 효율성을 높였습니다. 이는 장문 처리 성능을 향상시키는 중요한 기술적 혁신입니다.
학습 방식 또한 주목할 만합니다. Gemma 3 모델들은 증류(distillation) 기법을 통해 학습되었습니다. 그 결과, 사전 훈련 및 지시 미세 조정 버전 모두에서 Gemma 2보다 뛰어난 성능을 보였습니다. 특히, 새로운 훈련 후(post-training) 기술은 수학, 채팅, 지시 따르기, 다국어 능력을 크게 향상시켰습니다. 실제로, Gemma3-4B-IT는 Gemma2-27B-IT와 경쟁력을 갖추었으며, Gemma3-27B-IT는 Gemini-1.5-Pro와 비교 가능한 수준의 성능을 보여주었습니다.
Gemma 3의 모든 모델들은 오픈 소스로 공개되어, AI 연구 커뮤니티에 큰 도움을 줄 것으로 기대됩니다. 이처럼 뛰어난 성능과 접근성을 갖춘 Gemma 3은 AI 기술 발전에 중요한 이정표가 될 것임이 분명합니다. ✨
Reference
[arxiv] Gemma 3 Technical Report
Published: (Updated: )
Author: Gemma Team, Aishwarya Kamath, Johan Ferret, Shreya Pathak, Nino Vieillard, Ramona Merhej, Sarah Perrin, Tatiana Matejovicova, Alexandre Ramé, Morgane Rivière, Louis Rouillard, Thomas Mesnard, Geoffrey Cideron, Jean-bastien Grill, Sabela Ramos, Edouard Yvinec, Michelle Casbon, Etienne Pot, Ivo Penchev, Gaël Liu, Francesco Visin, Kathleen Kenealy, Lucas Beyer, Xiaohai Zhai, Anton Tsitsulin, Robert Busa-Fekete, Alex Feng, Noveen Sachdeva, Benjamin Coleman, Yi Gao, Basil Mustafa, Iain Barr, Emilio Parisotto, David Tian, Matan Eyal, Colin Cherry, Jan-Thorsten Peter, Danila Sinopalnikov, Surya Bhupatiraju, Rishabh Agarwal, Mehran Kazemi, Dan Malkin, Ravin Kumar, David Vilar, Idan Brusilovsky, Jiaming Luo, Andreas Steiner, Abe Friesen, Abhanshu Sharma, Abheesht Sharma, Adi Mayrav Gilady, Adrian Goedeckemeyer, Alaa Saade, Alex Feng, Alexander Kolesnikov, Alexei Bendebury, Alvin Abdagic, Amit Vadi, András György, André Susano Pinto, Anil Das, Ankur Bapna, Antoine Miech, Antoine Yang, Antonia Paterson, Ashish Shenoy, Ayan Chakrabarti, Bilal Piot, Bo Wu, Bobak Shahriari, Bryce Petrini, Charlie Chen, Charline Le Lan, Christopher A. Choquette-Choo, CJ Carey, Cormac Brick, Daniel Deutsch, Danielle Eisenbud, Dee Cattle, Derek Cheng, Dimitris Paparas, Divyashree Shivakumar Sreepathihalli, Doug Reid, Dustin Tran, Dustin Zelle, Eric Noland, Erwin Huizenga, Eugene Kharitonov, Frederick Liu, Gagik Amirkhanyan, Glenn Cameron, Hadi Hashemi, Hanna Klimczak-Plucińska, Harman Singh, Harsh Mehta, Harshal Tushar Lehri, Hussein Hazimeh, Ian Ballantyne, Idan Szpektor, Ivan Nardini, Jean Pouget-Abadie, Jetha Chan, Joe Stanton, John Wieting, Jonathan Lai, Jordi Orbay, Joseph Fernandez, Josh Newlan, Ju-yeong Ji, Jyotinder Singh, Kat Black, Kathy Yu, Kevin Hui, Kiran Vodrahalli, Klaus Greff, Linhai Qiu, Marcella Valentine, Marina Coelho, Marvin Ritter, Matt Hoffman, Matthew Watson, Mayank Chaturvedi, Michael Moynihan, Min Ma, Nabila Babar, Natasha Noy, Nathan Byrd, Nick Roy, Nikola Momchev, Nilay Chauhan, Noveen Sachdeva, Oskar Bunyan, Pankil Botarda, Paul Caron, Paul Kishan Rubenstein, Phil Culliton, Philipp Schmid, Pier Giuseppe Sessa, Pingmei Xu, Piotr Stanczyk, Pouya Tafti, Rakesh Shivanna, Renjie Wu, Renke Pan, Reza Rokni, Rob Willoughby, Rohith Vallu, Ryan Mullins, Sammy Jerome, Sara Smoot, Sertan Girgin, Shariq Iqbal, Shashir Reddy, Shruti Sheth, Siim Põder, Sijal Bhatnagar, Sindhu Raghuram Panyam, Sivan Eiger, Susan Zhang, Tianqi Liu, Trevor Yacovone, Tyler Liechty, Uday Kalra, Utku Evci, Vedant Misra, Vincent Roseberry, Vlad Feinberg, Vlad Kolesnikov, Woohyun Han, Woosuk Kwon, Xi Chen, Yinlam Chow, Yuvein Zhu, Zichuan Wei, Zoltan Egyed, Victor Cotruta, Minh Giang, Phoebe Kirk, Anand Rao, Kat Black, Nabila Babar, Jessica Lo, Erica Moreira, Luiz Gustavo Martins, Omar Sanseviero, Lucas Gonzalez, Zach Gleicher, Tris Warkentin, Vahab Mirrokni, Evan Senter, Eli Collins, Joelle Barral, Zoubin Ghahramani, Raia Hadsell, Yossi Matias, D. Sculley, Slav Petrov, Noah Fiedel, Noam Shazeer, Oriol Vinyals, Jeff Dean, Demis Hassabis, Koray Kavukcuoglu, Clement Farabet, Elena Buchatskaya, Jean-Baptiste Alayrac, Rohan Anil, Dmitry, Lepikhin, Sebastian Borgeaud, Olivier Bachem, Armand Joulin, Alek Andreev, Cassidy Hardin, Robert Dadashi, Léonard Hussenot
http://arxiv.org/abs/2503.19786v1