XAMBA: 자원 제약형 NPU에서 효율적인 상태 공간 모델 구현

XAMBA 프레임워크는 제한된 자원의 NPU에서 상태 공간 모델(SSMs)의 효율적인 사용을 가능하게 합니다. CumBA, ReduBA, ActiBA 등의 최적화 기법을 통해 기존 대비 최대 2.6배의 속도 향상을 달성하였으며, 다양한 AI 애플리케이션, 특히 에지 컴퓨팅 분야에 큰 영향을 미칠 것으로 예상됩니다.

혁신적인 AI 프레임워크 XAMBA 등장: 제한된 자원에서도 SSM의 효율성 극대화

최근 긴 시퀀스 데이터 처리에 있어 트랜스포머를 대체할 효율적인 방법으로 상태 공간 모델(SSMs) 이 주목받고 있습니다. SSMs는 시퀀스 길이에 따라 선형 또는 거의 선형적인 확장성을 제공하여 자연어 처리(NLP), 컴퓨터 비전, 그리고 에지 AI 분야의 장기 시퀀스 애플리케이션에 이상적입니다. 실시간 전사, 번역, 상황별 검색과 같은 애플리케이션은 노트북이나 PC와 같은 자원 제약적인 장치에서의 경량화되고 고성능인 모델을 필요로 합니다.

하지만, 새롭게 등장하는 모든 신경망에 대해 특수한 가속기를 설계하는 것은 비용이 많이 들고 비현실적입니다. Arghadip Das 등 6명의 연구진이 제시한 XAMBA는 기존의 AI PC에 존재하는 NPUs를 최적화하여 이러한 문제를 해결하는 최초의 프레임워크입니다.

XAMBA는 세 가지 단계의 방법론을 따릅니다. 먼저 NPUs에서 SSMs를 가능하게 하고, 두 번째로 KPI 요구 사항을 충족하도록 성능을 최적화하며, 세 번째로 정확도를 희생하여 추가적인 성능 향상을 얻습니다.

NPUs에서 SSMs를 가능하게 한 후, XAMBA는 CumBA와 ReduBA를 사용하여 주요 병목 현상을 완화합니다. 순차적인 CumSum 및 ReduceSum 연산을 행렬 기반 연산으로 대체하여 실행 속도와 메모리 효율성을 크게 향상시킵니다. 또한, ActiBA는 비용이 많이 드는 활성화 함수(예: Swish, Softplus)를 분할 선형 매핑을 사용하여 근사하여 정확도 손실을 최소화하면서 지연 시간을 줄입니다.

Intel Core Ultra Series 2 AI PC에서의 평가 결과, XAMBA는 기준선보다 최대 2.6배의 속도 향상을 달성했습니다. 이 구현은 https://github.com/arghadippurdue/XAMBA에서 확인할 수 있습니다.

결론적으로, XAMBA는 제한된 자원 환경에서도 SSMs의 효율성을 극대화하여 다양한 AI 애플리케이션의 발전에 기여할 것으로 기대됩니다. 특히, 에지 컴퓨팅 환경에서의 실시간 처리 성능 향상에 큰 영향을 미칠 것으로 예상됩니다. 연구진의 깃허브를 통해 공개된 코드는 다른 연구자들에게도 귀중한 자원이 될 것입니다. 하지만, 정확도와 성능 간의 절충에 대한 추가적인 연구와 다양한 NPU 환경에서의 성능 검증이 필요할 것으로 보입니다.