딥러닝 가속의 혁명: Transitive Array의 등장

Transitive Array는 Transitive Sparsity라는 새로운 개념을 도입하여 GEMM 연산의 효율성을 획기적으로 높인 딥러닝 가속기입니다. 최첨단 가속기에 비해 속도와 에너지 효율이 크게 향상되었으며, LLaMA 모델에서도 높은 정확도를 유지합니다.

최근 딥러닝과 대규모 언어 모델(LLM)의 발전은 인공지능 분야에 혁신을 가져왔지만, 막대한 메모리와 연산 자원 소모는 여전히 큰 걸림돌입니다. 특히 자원 제약이 심한 환경에서는 더욱 그렇습니다. 기존의 양자화 기법은 데이터의 정밀도를 낮추는 방식으로 이 문제를 일부 해결했지만, 더욱 근본적인 해결책이 필요했습니다.

Guo Cong을 비롯한 연구팀은 이러한 문제에 대한 혁신적인 해결책으로 Transitive Array를 제시했습니다. 이 연구는 일반 행렬 곱셈(GEMM) 연산에 초점을 맞춰, 새로운 개념인 Transitive Sparsity를 도입했습니다. Transitive Sparsity는 이전에 계산된 결과를 재사용하여 GEMM 연산의 계산 오버헤드를 대폭 줄이는 기술입니다. 연구팀은 유향 비순환 그래프(DAG) 를 이용하여 transitive 관계를 표현하고, 최적의 실행 순서를 결정하는 효율적인 전략을 개발했습니다. 이를 통해 실행 의존성과 병렬 처리의 어려움을 극복했습니다.

Transitive Array는 이러한 Transitive Sparsity를 활용하도록 설계된 곱셈 없는 가속기입니다. 여러 병렬 레인에 걸쳐 계산 작업을 효율적으로 분산시켜, 높은 효율성과 최적의 자원 활용을 보장합니다. 실험 결과, Transitive Array는 Olive와 BitVert 와 같은 최첨단 가속기에 비해 속도는 약 7.46배 및 3.97배 향상되었고 에너지 소비는 약 2.31배 및 1.65배 감소했습니다. LLaMA 모델에서도 비교 가능한 수준의 정확도를 유지하면서 말이죠!

이 연구는 DNN과 LLM의 효율적인 구현에 새로운 지평을 열었습니다. Transitive Array는 제한된 자원 환경에서도 딥러닝 모델을 효과적으로 구동할 수 있는 가능성을 보여주며, 향후 인공지능 기술 발전에 중요한 기여를 할 것으로 기대됩니다. 앞으로 Transitive Array가 어떻게 다양한 분야에 적용될지, 그리고 더욱 발전된 기술로 이어질지 주목할 만합니다.