혁신적인 AI 추론: 인텔 NPU 기반 NITRO 프레임워크 등장!
인텔의 새로운 NPU를 활용한 LLM 추론 프레임워크 NITRO가 개발되어 LLM의 실시간 성능 향상 및 효율적인 자원 활용에 기여할 것으로 기대됩니다. OpenVINO 기반의 Python 프레임워크인 NITRO는 동적 모델 지원을 통해 기존의 한계를 극복하고, 향후 AI 기술 발전에 중요한 역할을 할 것으로 예상됩니다.

인텔 NPU, LLM 추론의 새로운 지평을 열다
최근 대규모 언어 모델(LLM)이 ChatGPT나 Gemini와 같은 챗봇을 중심으로 폭발적인 성장을 거듭하며 자연어 처리 분야의 핵심 기술로 자리 잡았습니다. 이러한 추세에 발맞춰, LLM을 위한 특수 하드웨어 개발 또한 활발히 진행되고 있으며, 그 중심에는 바로 신경처리유닛(NPU)이 있습니다.
2023년 인텔은 CPU, GPU, 그리고 NPU가 통합된 Meteor Lake(코드명) 기반의 인텔 코어 울트라 프로세서를 출시했습니다. 하지만, 인텔의 OpenVINO 프레임워크는 아직 정적 모델 추론까지만 공식적으로 지원하여 LLM의 핵심 기능인 자동 회귀 토큰 생성에는 적용할 수 없다는 한계가 있었습니다.
NITRO: 한계를 뛰어넘는 혁신
이러한 문제점을 해결하기 위해, Anthony Fei와 Mohamed S. Abdelfattah가 이끄는 연구팀이 OpenVINO 기반의 Python 프레임워크 NITRO(NPU Inference for Transformers Optimization)를 개발했습니다. NITRO는 NPU에서 텍스트 및 챗 생성을 지원하여 LLM 추론의 새로운 가능성을 제시합니다. 본 논문에서는 트랜스포머 아키텍처의 주요 수정 사항, 성능 벤치마크, 그리고 향후 개선 계획에 대해 자세히 논의하고 있습니다.
NITRO의 핵심:
- 동적 모델 지원: 기존 OpenVINO의 정적 모델 추론 한계를 극복, LLM의 동적 토큰 생성 지원
- Python 기반: 개발 및 사용의 편의성 증대
- OpenVINO 활용: 인텔 NPU의 성능을 최대한 활용
본 연구는 LLM의 실시간 응답 속도 향상과 효율적인 자원 활용에 크게 기여할 것으로 예상되며, NITRO의 코드 저장소는 GitHub 에서 확인할 수 있습니다. 앞으로 NITRO의 발전이 LLM 기술 발전에 어떤 영향을 미칠지 기대됩니다. 이는 단순한 기술 발전을 넘어, AI 접근성 향상과 다양한 분야에서의 LLM 활용 가능성 확대라는 중요한 의미를 지닙니다.
Reference
[arxiv] NITRO: LLM Inference on Intel Laptop NPUs
Published: (Updated: )
Author: Anthony Fei, Mohamed S. Abdelfattah
http://arxiv.org/abs/2412.11053v1