웨이퍼 규모 LLM 추론 시스템, WaferLLM 등장: AI 성능의 혁신

WaferLLM은 웨이퍼 규모 AI 가속기의 성능을 극대화하는 혁신적인 LLM 추론 시스템입니다. PLMR 디바이스 모델과 MeshGEMM, MeshGEMV 알고리즘을 통해 기존 시스템보다 훨씬 빠르고 에너지 효율적인 LLM 추론을 가능하게 합니다.

최근 AI 가속기 분야에서 웨이퍼 규모 제조 기술이 주목받고 있습니다. 수십만 개의 AI 코어를 메시 기반 아키텍처로 통합하여 대용량 분산 온칩 메모리(총 수십 GB)와 초고속 온칩 메모리 대역폭(수십 PB/s)을 제공하는 기술입니다. 하지만 기존의 LLM 추론 시스템은 GPU와 같은 공유 메모리 아키텍처에 최적화되어 있어 이러한 가속기의 성능을 완전히 활용하지 못하는 한계가 있었습니다.

이러한 한계를 극복하기 위해 등장한 것이 바로 WaferLLM입니다. He Congjie 등 연구진이 개발한 WaferLLM은 웨이퍼 규모 아키텍처의 고유한 특성을 포착하는 혁신적인 PLMR 디바이스 모델을 기반으로 합니다. 이 모델을 활용하여 WaferLLM은 수십만 개의 온칩 코어를 효율적으로 사용하는 웨이퍼 규모 LLM 병렬 처리를 구현하는데 성공했습니다.

더 나아가, 연구진은 MeshGEMM과 MeshGEMV라는 새로운 알고리즘을 개발했습니다. 이는 웨이퍼 규모 가속기에서 효율적으로 확장될 수 있도록 설계된 최초의 GEMM(General Matrix Multiply) 및 GEMV(General Matrix-Vector Multiply) 구현입니다. 실험 결과는 놀라웠습니다. WaferLLM은 기존 최첨단 시스템보다 200배 향상된 웨이퍼 규모 가속기 활용도를 달성했습니다. 일반적인 웨이퍼 규모 가속기에서 WaferLLM은 최첨단 GPU에 비해 606배 빠르고 22배 에너지 효율적인 GEMV 연산을 수행했습니다. LLM 추론의 경우, 39배 빠른 디코딩 속도와 1.7배 향상된 에너지 효율을 보였습니다.

연구진은 웨이퍼 규모 AI 모델, 소프트웨어 및 하드웨어가 계속 발전함에 따라 이러한 성능 향상이 더욱 커질 것으로 예상하고 있습니다. WaferLLM은 AI 성능의 획기적인 발전을 가져올 잠재력을 지닌 기술로 평가받고 있으며, 앞으로 AI 분야의 발전에 큰 영향을 미칠 것으로 기대됩니다. 웨이퍼 규모의 혁신적인 아키텍처와 알고리즘은 AI의 미래를 재정의하는 중요한 이정표가 될 것입니다.