NVIDIA의 혁신적인 AI 모델 Nemotron-H: 속도와 정확성의 완벽한 조화
NVIDIA 주도 연구팀이 개발한 Nemotron-H는 Mamba 계층과 MiniPuzzle 압축 기술을 통해 추론 속도를 최대 3배 향상시켰으며, FP8 기반 훈련으로 효율성을 높였습니다. Hugging Face 등 주요 플랫폼 지원으로 접근성도 높아질 전망입니다.
최근 AI 모델의 추론 속도 향상이 중요한 과제로 떠오르고 있는 가운데, NVIDIA를 비롯한 연구팀이 놀라운 성과를 발표했습니다. 바로 Nemotron-H, 추론 비용을 획기적으로 절감하면서도 높은 정확도를 유지하는 혁신적인 하이브리드 Mamba-Transformer 모델입니다.
Mamba 계층으로 추론 속도 3배 향상
Nemotron-H는 기존 Transformer 모델의 핵심 구성 요소인 자기 주의 계층을 Mamba 계층으로 대체했습니다. Mamba 계층은 연산량과 메모리 사용량이 일정하여, 추론 속도를 크게 향상시키는 핵심 기술입니다. 이를 통해 Nemotron-H는 Qwen-2.5-7B/72B, Llama-3.1-8B/70B 등 다른 최첨단 오픈소스 Transformer 모델들과 비교했을 때, 동등하거나 더 나은 정확도를 보이면서 최대 3배 빠른 추론 속도를 자랑합니다.
MiniPuzzle: 모델 크기 축소와 속도 향상
연구팀은 여기서 그치지 않고, MiniPuzzle이라는 새로운 압축 기술을 개발하여 Nemotron-H의 효율성을 더욱 높였습니다. 56B 모델을 기반으로 개발된 Nemotron-H-47B-Base는 가지치기(Pruning)와 증류(Distillation) 기술을 결합하여 모델 크기를 줄이고 추론 속도를 20% 더 향상시켰습니다. 56B 모델과 유사한 정확도를 유지하면서도 더욱 빠르게 추론이 가능해졌습니다.
FP8 기반 훈련: 효율적인 훈련 방식
Nemotron-H의 개발 과정에서 눈에 띄는 부분은 바로 FP8 기반 훈련 레시피의 도입입니다. 기존 BF16 기반 훈련과 동등한 성능을 달성하면서도 훈련 효율성을 높였습니다. 이는 56B 모델 훈련에 적용되어, 더욱 빠르고 효율적인 모델 개발을 가능하게 했습니다.
접근성 향상: 다양한 플랫폼 지원
Nemotron-H 모델들은 Hugging Face, NeMo, Megatron-LM 등 주요 머신러닝 플랫폼에서 지원될 예정입니다. 이는 연구자와 개발자들의 접근성을 높여, 다양한 분야에서 Nemotron-H의 활용을 가속화할 것으로 기대됩니다.
결론적으로, Nemotron-H는 속도와 정확성을 모두 잡은 혁신적인 AI 모델입니다. Mamba 계층과 MiniPuzzle 기술, 그리고 FP8 기반 훈련 레시피의 조합은 AI 모델 개발의 새로운 가능성을 제시하며, 앞으로 AI 기술 발전에 큰 영향을 미칠 것으로 예상됩니다.
Reference
[arxiv] Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models
Published: (Updated: )
Author: NVIDIA, :, Aaron Blakeman, Aarti Basant, Abhinav Khattar, Adithya Renduchintala, Akhiad Bercovich, Aleksander Ficek, Alexis Bjorlin, Ali Taghibakhshi, Amala Sanjay Deshmukh, Ameya Sunil Mahabaleshwarkar, Andrew Tao, Anna Shors, Ashwath Aithal, Ashwin Poojary, Ayush Dattagupta, Balaram Buddharaju, Bobby Chen, Boris Ginsburg, Boxin Wang, Brandon Norick, Brian Butterfield, Bryan Catanzaro, Carlo del Mundo, Chengyu Dong, Christine Harvey, Christopher Parisien, Dan Su, Daniel Korzekwa, Danny Yin, Daria Gitman, David Mosallanezhad, Deepak Narayanan, Denys Fridman, Dima Rekesh, Ding Ma, Dmytro Pykhtar, Dong Ahn, Duncan Riach, Dusan Stosic, Eileen Long, Elad Segal, Ellie Evans, Eric Chung, Erick Galinkin, Evelina Bakhturina, Ewa Dobrowolska, Fei Jia, Fuxiao Liu, Gargi Prasad, Gerald Shen, Guilin Liu, Guo Chen, Haifeng Qian, Helen Ngo, Hongbin Liu, Hui Li, Igor Gitman, Ilia Karmanov, Ivan Moshkov, Izik Golan, Jan Kautz, Jane Polak Scowcroft, Jared Casper, Jarno Seppanen, Jason Lu, Jason Sewall, Jiaqi Zeng, Jiaxuan You, Jimmy Zhang, Jing Zhang, Jining Huang, Jinze Xue, Jocelyn Huang, Joey Conway, John Kamalu, Jon Barker, Jonathan Cohen, Joseph Jennings, Jupinder Parmar, Karan Sapra, Kari Briski, Kateryna Chumachenko, Katherine Luna, Keshav Santhanam, Kezhi Kong, Kirthi Sivamani, Krzysztof Pawelec, Kumar Anik, Kunlun Li, Lawrence McAfee, Leon Derczynski, Lindsey Pavao, Luis Vega, Lukas Voegtle, Maciej Bala, Maer Rodrigues de Melo, Makesh Narsimhan Sreedhar, Marcin Chochowski, Markus Kliegl, Marta Stepniewska-Dziubinska, Matthieu Le, Matvei Novikov, Mehrzad Samadi, Michael Andersch, Michael Evans, Miguel Martinez, Mike Chrzanowski, Mike Ranzinger, Mikolaj Blaz, Misha Smelyanskiy, Mohamed Fawzy, Mohammad Shoeybi, Mostofa Patwary, Nayeon Lee, Nima Tajbakhsh, Ning Xu, Oleg Rybakov, Oleksii Kuchaiev, Olivier Delalleau, Osvald Nitski, Parth Chadha, Pasha Shamis, Paulius Micikevicius, Pavlo Molchanov, Peter Dykas, Philipp Fischer, Pierre-Yves Aquilanti, Piotr Bialecki, Prasoon Varshney, Pritam Gundecha, Przemek Tredak, Rabeeh Karimi, Rahul Kandu, Ran El-Yaniv, Raviraj Joshi, Roger Waleffe, Ruoxi Zhang, Sabrina Kavanaugh, Sahil Jain, Samuel Kriman, Sangkug Lym, Sanjeev Satheesh, Saurav Muralidharan, Sean Narenthiran, Selvaraj Anandaraj, Seonmyeong Bak, Sergey Kashirsky, Seungju Han, Shantanu Acharya, Shaona Ghosh, Sharath Turuvekere Sreenivas, Sharon Clay, Shelby Thomas, Shrimai Prabhumoye, Shubham Pachori, Shubham Toshniwal, Shyamala Prayaga, Siddhartha Jain, Sirshak Das, Slawek Kierat, Somshubra Majumdar, Song Han, Soumye Singhal, Sriharsha Niverty, Stefania Alborghetti, Suseella Panguluri, Swetha Bhendigeri, Syeda Nahida Akter, Szymon Migacz, Tal Shiri, Terry Kong, Timo Roman, Tomer Ronen, Trisha Saar, Tugrul Konuk, Tuomas Rintamaki, Tyler Poon, Ushnish De, Vahid Noroozi, Varun Singh, Vijay Korthikanti, Vitaly Kurin, Wasi Uddin Ahmad, Wei Du, Wei Ping, Wenliang Dai, Wonmin Byeon, Xiaowei Ren, Yao Xu, Yejin Choi, Yian Zhang, Ying Lin, Yoshi Suhara, Zhiding Yu, Zhiqi Li, Zhiyu Li, Zhongbo Zhu, Zhuolin Yang, Zijia Chen
http://arxiv.org/abs/2504.03624v1