대규모 언어 모델 추론의 혁신: 저전력 고효율 PASA 알고리즘

본 기사는 중국 과학원 연구진이 개발한 PASA 알고리즘을 소개합니다. PASA는 저전력 고효율 AI 추론을 위한 혁신적인 알고리즘으로, 반정밀도 계산에서 발생하는 오버플로우 문제를 해결하고 대규모 언어 모델의 성능을 향상시키는 데 기여합니다. Qwen2-7B와 Stable-Video-Diffusion 모델을 이용한 실험 결과를 통해 그 효과와 정확성을 검증했습니다.

저전력 고효율 AI 시대를 여는 획기적인 알고리즘: PASA

최근 텍스트나 이미지/영상 생성과 같은 장문 추론 작업에서 어텐션(Attention) 계산의 연산량이 급증하면서 AI 성능 향상의 병목으로 작용하고 있습니다. 중국 과학원 자동화연구소(IA CAS)를 비롯한 연구팀이 개발한 PASA(Online Pseudo-average Shifting Attention) 알고리즘은 이러한 문제에 대한 혁신적인 해결책을 제시합니다.

PASA: 속도와 정확성, 두 마리 토끼를 잡다

PASA는 Flash Attention을 기반으로 설계된 저정밀도 알고리즘입니다. 핵심은 **'의사 평균 이동'**과 **'전역 복구'**라는 두 가지 혁신적인 기술입니다. 이 기술들을 통해 반정밀도 계산으로도 오버플로우 문제 없이 높은 수치 정확도를 유지합니다. 이는 Ascend NPU와 같은 메모리 제약이 있는 AI 하드웨어 아키텍처에서 데이터 이동량을 줄이고 연산 FLOPs를 증가시켜 성능을 크게 향상시킵니다.

오버플로우의 원인 규명: 대규모 모델의 특징 분석

연구팀은 Qwen2-7B 언어 모델과 Stable-Video-Diffusion 다중 모드 모델을 사용하여 PASA 알고리즘을 검증했습니다. 그 결과, 어텐션 입력 데이터의 큰 편향과 진폭이 반정밀도 계산에서 오버플로우의 주요 원인임을 밝혔습니다. 특히 Stable-Video-Diffusion 모델에서는 쿼리(Query)와 키(Key) 행렬 간의 공명 현상(phase coincidence 또는 180도 위상차)이 어텐션 점수 행렬의 값을 크게 증폭시키는 것으로 나타났습니다. 이는 Qwen 모델에서도 마찬가지였습니다.

정확도 검증: RMSE와 실제 결과 비교

PASA 알고리즘의 정확도는 RMSE(Root Mean Square Error)와 고정밀도 어텐션을 사용하여 생성된 결과물(텍스트 및 영상)과의 비교를 통해 측정되었습니다. 실험 결과는 PASA 알고리즘이 우수한 성능과 정확성을 가지고 있음을 보여줍니다.

결론: AI 추론의 새로운 지평을 열다

PASA 알고리즘은 저전력 고효율 AI 추론을 위한 획기적인 발전을 제시합니다. 대규모 모델의 성능을 향상시키고, 메모리 제약이 있는 하드웨어에서도 효율적인 추론을 가능하게 합니다. 향후 AI 기술 발전에 중요한 기여를 할 것으로 기대됩니다. 특히, 대규모 언어 모델의 효율적인 구현에 새로운 가능성을 제시하며, 더욱 빠르고 효율적인 AI 서비스를 제공하는 데 크게 기여할 것으로 전망됩니다.