HARP: 혼합 재사용 워크로드를 위한 이종 계층형 프로세서의 새로운 분류 체계

Raveesh Garg, Michael Pellauer, Tushar Krishna가 개발한 HARP는 AI 가속기 설계의 혁신적인 분류 체계입니다. 이종 계층적 아키텍처를 통해 다양한 워크로드를 효율적으로 처리하며, Timeloop 매퍼와 개선된 비용 모델을 활용하여 성능을 최적화합니다. 이는 AI 가속기 설계의 새로운 패러다임을 제시하며, 미래 AI 기술 발전에 크게 기여할 것으로 기대됩니다.

AI 가속기 설계의 혁신: HARP 분류 체계

최근 인공지능(AI) 분야의 급속한 발전은 연산 집약적인 텐서 연산의 효율적인 처리를 위한 새로운 가속기 설계에 대한 수요를 증폭시키고 있습니다. Raveesh Garg, Michael Pellauer, 그리고 Tushar Krishna가 제시한 HARP (Heterogeneous and Hierarchical Processors for Mixed-reuse Workloads)는 이러한 요구에 부응하는 획기적인 연구입니다. HARP는 기존의 동질적인 아키텍처를 넘어, 계층적(여러 수준의 메모리 계층에서 연산)이고 이종적인(여러 종류의 서브 가속기) 가속기를 분류하는 새로운 체계를 제시합니다.

혼합 재사용 워크로드의 효율적인 처리

AI 애플리케이션은 텐서 연산의 계산 강도(arithmetic intensity, 재사용 정도)가 다양하게 나타납니다. 기존의 단일 아키텍처는 이러한 다양성을 효율적으로 처리하는 데 어려움을 겪습니다. HARP는 이러한 문제를 해결하기 위해, 다양한 계산 강도를 가진 텐서 연산을 효율적으로 처리할 수 있도록 여러 서브 가속기를 포함하는 이종 계층형 아키텍처를 제안합니다. 이는 B100 코어의 SM과 텐서 코어 간의 '노드 내 이종성'에서부터 NeuPIM의 메모리 계층 간의 '크로스 깊이 이종성'까지 다양한 형태의 이종성을 포괄적으로 다룹니다.

HARP 분류 체계: 이종 계층형 가속기의 체계적인 이해

HARP는 단순한 분류 체계를 넘어, 이종 계층형 가속기의 설계 공간을 체계적으로 탐색하고 분석하는 데 사용될 수 있습니다. 다양한 아키텍처의 특징과 장단점을 비교 분석하여 최적의 설계를 선택하는 데 도움을 줄 수 있습니다. 연구진은 Timeloop 매퍼를 사용하여 서브 가속기에 대한 최적의 매핑을 찾고, Timeloop 비용 모델을 확장하여 계층적이고 이종적인 가속기를 모델링할 수 있도록 개선했습니다. 이를 통해 개발자는 다양한 워크로드에 대해 가장 적합한 하드웨어를 선택하고, 자원을 효율적으로 할당하여 성능을 최적화할 수 있습니다.

미래를 향한 전망

HARP는 단순한 분류 체계를 넘어, AI 가속기 설계의 새로운 패러다임을 제시합니다. 이는 향후 더욱 복잡하고 다양한 워크로드를 효율적으로 처리할 수 있는 혁신적인 AI 가속기 개발에 중요한 토대가 될 것으로 기대됩니다. 계층적이고 이종적인 아키텍처의 설계 및 최적화에 대한 심도 있는 이해를 제공함으로써, AI 기술의 발전에 크게 기여할 것으로 예상됩니다. 이 연구는 AI 가속기 분야의 지속적인 발전을 위한 중요한 이정표가 될 것입니다.