Samoyeds: 희소 텐서 코어를 활용한 구조적 희소성을 통한 MoE 모델 가속화

Samoyeds는 활성화와 모델 파라미터에 동시 희소성을 적용한 MoE LLM 가속 시스템으로, 기존 SOTA 대비 뛰어난 성능과 메모리 효율을 달성했습니다. 희소 텐서 코어를 활용하여 커널 및 모델 레벨에서 성능 향상을 이루었으며, 향후 LLM 발전에 중요한 기여를 할 것으로 예상됩니다.

급증하는 규모의 거대 언어 모델, 효율성의 한계에 도전하다

최근 급성장하는 Mixture-of-Experts (MoE) 기반 거대 언어 모델(LLM)은 그 규모가 커짐에 따라 막대한 계산 자원과 메모리를 필요로 합니다. 모델의 정확도를 유지하면서 효율성을 높이는 혁신적인 해결책이 절실히 요구되는 상황입니다. 이러한 문제를 해결하기 위한 강력한 전략으로 구조적 희소성이 떠오르고 있으며, 특히 새롭게 등장하는 희소 연산 하드웨어를 활용하는 연구가 활발히 진행되고 있습니다.

하지만 기존 연구들은 주로 모델 파라미터의 희소성에만 초점을 맞춰 활성화(activation)의 고유한 희소 패턴을 간과하는 경향이 있었습니다. 이는 활성화와 관련된 추가적인 계산 비용을 초래하여 최적의 성능을 저해할 수 있습니다.

Samoyeds: 희소 텐서 코어를 활용한 혁신적인 가속 시스템

Chenpeng Wu, Qiqi Gu, Heng Shi, Jianguo Yao, Haibing Guan 등 연구진은 이러한 문제점을 해결하기 위해 Samoyeds라는 혁신적인 MoE LLM 가속 시스템을 발표했습니다. Samoyeds는 최초로 활성화와 모델 파라미터 모두에 희소성을 동시에 적용하는 시스템입니다.

Samoyeds는 MoE 계산에 맞춤화된 독자적인 희소 데이터 형식을 도입하고, 특수한 희소-희소 행렬 곱셈 커널을 개발했습니다. 더 나아가, 듀얼-사이드 구조적 희소 MoE LLM을 희소 텐서 코어(SpTCs)에서 실행하도록 설계된 체계적인 최적화를 통합하여 시스템 성능을 더욱 향상시켰습니다.

놀라운 성능 향상: 기존 기술을 압도하다

평가 결과, Samoyeds는 커널 레벨에서 최대 1.99배, 모델 레벨에서 최대 1.58배의 성능 향상을 기록하며 기존 최첨단(SOTA) 기술을 능가했습니다. 뿐만 아니라 메모리 효율성을 높여 평균 4.41배 더 큰 배치 크기를 지원합니다. 모델 정확도와 하드웨어 이식성 측면에서도 기존 SOTA 구조적 희소 솔루션을 뛰어넘는 성과를 보였습니다.

Samoyeds는 단순한 성능 향상을 넘어, LLM의 효율성과 확장성에 대한 새로운 가능성을 제시하며, 앞으로 더욱 발전된 AI 모델 개발에 중요한 기여를 할 것으로 기대됩니다. 이 연구는 희소 연산 하드웨어의 효과적인 활용을 통해 LLM의 성능과 효율성을 동시에 향상시키는 획기적인 성과를 보여주는 중요한 사례입니다.