NVIDIA의 혁신적인 AI 모델 Nemotron-H: 속도와 정확성의 완벽한 조화
NVIDIA가 개발한 Nemotron-H는 Mamba 레이어와 MiniPuzzle 압축 기술을 통해 추론 속도를 크게 향상시키면서도 높은 정확도를 유지하는 혁신적인 AI 모델입니다. FP8 기반 학습 레시피와 Hugging Face 및 NeMo 지원으로 연구 접근성 또한 높였습니다.
최근 AI 모델의 추론 속도 향상은 더욱 정교한 추론 능력을 위해 중요한 과제로 떠올랐습니다. 이러한 상황에서 NVIDIA는 추론 비용을 절감하면서도 높은 정확도를 유지하는 획기적인 AI 모델 Nemotron-H를 발표했습니다.
Nemotron-H는 8B와 56B/47B 두 가지 크기의 하이브리드 Mamba-Transformer 모델로 구성되어 있으며, 기존 Transformer 모델의 자기 주의(self-attention) 계층의 대부분을 Mamba 레이어로 대체하여 혁신을 이루었습니다. Mamba 레이어는 일정한 계산량과 토큰당 일정한 메모리만을 필요로 하기 때문에 추론 속도와 메모리 효율성을 획기적으로 개선하는 데 기여합니다.
NVIDIA의 연구 결과에 따르면 Nemotron-H 모델은 Qwen-2.5-7B/72B 및 Llama-3.1-8B/70B와 같은 다른 최첨단 오픈소스 Transformer 모델들과 비교하여 동등하거나 더 나은 정확도를 제공하면서 최대 3배 더 빠른 추론 속도를 보였다고 합니다. 더 나아가, MiniPuzzle이라는 새로운 기술을 통해 56B 모델에서 47B 모델(Nemotron-H-47B-Base)을 생성했습니다. 이는 가지치기(pruning)와 증류(distillation) 기법을 활용하여 모델 크기를 줄이면서도 56B 모델과 유사한 정확도를 유지하고 추론 속도를 20% 더 향상시킨 결과입니다.
또한, NVIDIA는 FP8 기반 학습 레시피를 도입하여 BF16 기반 학습과 동등한 결과를 달성했습니다. 이 레시피는 56B 모델을 학습하는 데 사용되었습니다. 마지막으로, NVIDIA는 Hugging Face와 NeMo에서 지원되는 Nemotron-H 기본 모델 체크포인트를 공개하여 연구자들의 접근성을 높였습니다. 이는 AI 커뮤니티 전체의 발전에 크게 기여할 것으로 기대됩니다.
결론적으로, Nemotron-H는 속도와 정확도의 완벽한 조화를 이룬 혁신적인 AI 모델이며, 향후 AI 기술 발전에 중요한 이정표를 제시할 것으로 예상됩니다.
Reference
[arxiv] Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models
Published: (Updated: )
Author: NVIDIA, :, Aaron Blakeman, Aarti Basant, Abhinav Khattar, Adithya Renduchintala, Akhiad Bercovich, Aleksander Ficek, Alexis Bjorlin, Ali Taghibakhshi, Amala Sanjay Deshmukh, Ameya Sunil Mahabaleshwarkar, Andrew Tao, Anna Shors, Ashwath Aithal, Ashwin Poojary, Ayush Dattagupta, Balaram Buddharaju, Bobby Chen, Boris Ginsburg, Boxin Wang, Brandon Norick, Brian Butterfield, Bryan Catanzaro, Carlo del Mundo, Chengyu Dong, Christine Harvey, Christopher Parisien, Dan Su, Daniel Korzekwa, Danny Yin, Daria Gitman, David Mosallanezhad, Deepak Narayanan, Denys Fridman, Dima Rekesh, Ding Ma, Dmytro Pykhtar, Dong Ahn, Duncan Riach, Dusan Stosic, Eileen Long, Elad Segal, Ellie Evans, Eric Chung, Erick Galinkin, Evelina Bakhturina, Ewa Dobrowolska, Fei Jia, Fuxiao Liu, Gargi Prasad, Gerald Shen, Guilin Liu, Guo Chen, Haifeng Qian, Helen Ngo, Hongbin Liu, Hui Li, Igor Gitman, Ilia Karmanov, Ivan Moshkov, Izik Golan, Jan Kautz, Jane Polak Scowcroft, Jared Casper, Jarno Seppanen, Jason Lu, Jason Sewall, Jiaqi Zeng, Jiaxuan You, Jimmy Zhang, Jing Zhang, Jining Huang, Jinze Xue, Jocelyn Huang, Joey Conway, John Kamalu, Jon Barker, Jonathan Cohen, Joseph Jennings, Jupinder Parmar, Karan Sapra, Kari Briski, Kateryna Chumachenko, Katherine Luna, Keshav Santhanam, Kezhi Kong, Kirthi Sivamani, Krzysztof Pawelec, Kumar Anik, Kunlun Li, Lawrence McAfee, Leon Derczynski, Lindsey Pavao, Luis Vega, Lukas Voegtle, Maciej Bala, Maer Rodrigues de Melo, Makesh Narsimhan Sreedhar, Marcin Chochowski, Markus Kliegl, Marta Stepniewska-Dziubinska, Matthieu Le, Matvei Novikov, Mehrzad Samadi, Michael Andersch, Michael Evans, Miguel Martinez, Mike Chrzanowski, Mike Ranzinger, Mikolaj Blaz, Misha Smelyanskiy, Mohamed Fawzy, Mohammad Shoeybi, Mostofa Patwary, Nayeon Lee, Nima Tajbakhsh, Ning Xu, Oleg Rybakov, Oleksii Kuchaiev, Olivier Delalleau, Osvald Nitski, Parth Chadha, Pasha Shamis, Paulius Micikevicius, Pavlo Molchanov, Peter Dykas, Philipp Fischer, Pierre-Yves Aquilanti, Piotr Bialecki, Prasoon Varshney, Pritam Gundecha, Przemek Tredak, Rabeeh Karimi, Rahul Kandu, Ran El-Yaniv, Raviraj Joshi, Roger Waleffe, Ruoxi Zhang, Sabrina Kavanaugh, Sahil Jain, Samuel Kriman, Sangkug Lym, Sanjeev Satheesh, Saurav Muralidharan, Sean Narenthiran, Selvaraj Anandaraj, Seonmyeong Bak, Sergey Kashirsky, Seungju Han, Shantanu Acharya, Shaona Ghosh, Sharath Turuvekere Sreenivas, Sharon Clay, Shelby Thomas, Shrimai Prabhumoye, Shubham Pachori, Shubham Toshniwal, Shyamala Prayaga, Siddhartha Jain, Sirshak Das, Slawek Kierat, Somshubra Majumdar, Song Han, Soumye Singhal, Sriharsha Niverty, Stefania Alborghetti, Suseella Panguluri, Swetha Bhendigeri, Syeda Nahida Akter, Szymon Migacz, Tal Shiri, Terry Kong, Timo Roman, Tomer Ronen, Trisha Saar, Tugrul Konuk, Tuomas Rintamaki, Tyler Poon, Ushnish De, Vahid Noroozi, Varun Singh, Vijay Korthikanti, Vitaly Kurin, Wasi Uddin Ahmad, Wei Du, Wei Ping, Wenliang Dai, Wonmin Byeon, Xiaowei Ren, Yao Xu, Yejin Choi, Yian Zhang, Ying Lin, Yoshi Suhara, Zhiding Yu, Zhiqi Li, Zhiyu Li, Zhongbo Zhu, Zhuolin Yang, Zijia Chen
http://arxiv.org/abs/2504.03624v3