혁신적인 AI 병렬 처리 기술 LASP-2: 초장문 시퀀스 모델링의 새 지평을 열다

Weigao Sun 등 연구진이 개발한 LASP-2는 선형 어텐션의 효율성을 극대화하는 혁신적인 시퀀스 병렬 처리 기술입니다. 기존 방식의 한계를 극복하고 통신 및 계산 병렬 처리 성능을 크게 향상시켜 초장문 시퀀스 처리 분야에 새로운 가능성을 열었습니다. Linear-Llama3 모델을 통한 실험 결과, LASP-2는 뛰어난 속도 향상을 보였으며, 공개된 코드를 통해 다양한 AI 모델 개발에 활용될 것으로 기대됩니다.

최근 선형 어텐션(linear attention) 기반의 선형 시퀀스 모델링이 주목받고 있습니다. 선형 어텐션은 기존의 어텐션 메커니즘과 달리 시퀀스 길이에 대한 선형 시간 복잡도와 일정한 메모리 사용량을 제공하여, 긴 시퀀스 처리에 유리하다는 장점을 가지고 있습니다. 하지만 기존의 시퀀스 병렬 처리(SP) 방법들은 선형 어텐션의 특징을 제대로 활용하지 못하거나, 링 스타일 통신 전략으로 인해 계산 병렬 처리 효율이 낮고, 분산 시스템에서 긴 시퀀스에 대한 확장성이 제한적이었습니다.

이러한 문제를 해결하기 위해 Weigao Sun 등 연구진이 개발한 LASP-2는 혁신적인 시퀀스 병렬 처리 방법입니다. LASP-2는 선형 어텐션 레이어에 대한 최소한의 통신 요구사항을 재고하고, 기존 LASP의 통신-계산 워크플로우를 재구성함으로써, 중간 메모리 상태에 대한 단 하나의 AllGather 집합적 통신만 필요하도록 설계되었습니다. 중요한 점은 이 메모리 상태의 크기가 시퀀스 길이와 무관하다는 것입니다. 이를 통해 통신 및 계산 병렬 처리 성능을 크게 향상시키고, 이들의 오버랩(overlap)을 최대화할 수 있습니다.

더 나아가, 연구진은 LASP-2를 확장하여 표준 어텐션 모듈에도 유사한 통신 재설계를 적용한 LASP-2H를 제시했습니다. LASP-2H는 선형 어텐션과 표준 어텐션 레이어를 결합한 하이브리드 모델에 효율적인 SP 솔루션을 제공합니다. Linear-Llama3 모델(Llama3의 표준 어텐션을 선형 어텐션으로 대체한 변형 모델)을 이용한 평가 결과, LASP-2는 LASP보다 15.2%, Ring Attention보다 36.6% 향상된 속도를 보였습니다 (64개의 GPU를 사용, 시퀀스 길이 2048K). 이러한 놀라운 성능 향상은 초장문 시퀀스 처리에 대한 새로운 가능성을 제시합니다.

LASP-2와 LASP-2H의 코드는 https://github.com/OpenSparseLLMs/Linear-MoE에서 공개되어 있으며, 향후 AI 모델 개발에 폭넓게 활용될 것으로 기대됩니다. 이 연구는 선형 어텐션 기반의 대규모 언어 모델 개발에 중요한 이정표를 세웠으며, 더욱 빠르고 효율적인 AI 시스템 구축에 크게 기여할 것으로 예상됩니다. 특히, 초장문 텍스트 처리 및 분석, 대규모 지식베이스 구축 등 다양한 분야에서 혁신적인 발전을 가져올 것으로 전망됩니다. 💯