PICASO: 상태 공간 모델을 이용한 문맥 조합으로 대규모 언어 모델 성능 향상

UCLA 연구진이 개발한 PICASO는 상태 공간 모델을 이용하여 다중 문맥 정보를 효율적으로 처리하는 새로운 AI 모델입니다. 순열 불변성을 통해 문맥 순서에 대한 의존성을 제거하고, 기존 모델 대비 5.4배 빠른 속도와 동등한 성능을 달성했습니다. 이는 AI 시스템 개발에 중요한 전환점을 마련할 것으로 기대됩니다.

혁신적인 AI 모델 PICASO 등장: 속도와 정확성을 동시에 잡다!

최근 AI 연구 분야에서 뜨거운 감자로 떠오르고 있는 대규모 언어 모델(LLM). 그 성능을 한 단계 끌어올리기 위한 연구가 활발히 진행되고 있는 가운데, 캘리포니아 대학교 로스앤젤레스(UCLA)를 중심으로 한 연구진이 혁신적인 방법을 제시했습니다. 바로 PICASO (Permutation-Invariant Context Composition with State Space Models) 입니다.

기존의 LLM들은 외부 지식 베이스에서 가져온 문맥 정보를 추가하여 성능을 향상시키는 방법을 사용해왔습니다. 하지만, 이 방식은 문맥의 길이에 비례하여 계산 비용이 급증하는 단점이 있었습니다.

PICASO는 이 문제를 해결하기 위해 상태 공간 모델(SSM) 을 활용합니다. SSM은 방대한 문맥 데이터를 고정된 차원의 상태 벡터로 변환하여 처리하는 기술입니다. 여기서 핵심은 여러 개의 문맥 정보를 효율적으로 하나의 상태 벡터로 통합하는 방법입니다.

연구진은 SSM의 동적 특성을 이용하여 수학적으로 우아하게 여러 상태 벡터들을 하나로 합쳐, 마치 여러 문맥을 연결한 것과 같은 효과를 내는 기술을 개발했습니다. 더 나아가, 문맥의 순서가 결과에 영향을 미치지 않도록 순열 불변성(permutation-invariance) 을 적용하여 모든 가능한 순서에 대해 상태 벡터를 평균화하는 방식을 채택했습니다. 이는 문맥 정보의 순서에 대한 고민 없이 효율적으로 처리할 수 있게 해줍니다.

실험 결과는 놀랍습니다. WikiText와 MSMARCO 데이터셋에서 PICASO는 기존 최고 성능의 모델과 비슷한 수준의 정확도를 달성하면서 평균 5.4배나 빠른 속도를 보였습니다. 이는 속도와 정확성이라는 두 마리 토끼를 동시에 잡은 쾌거라 할 수 있습니다.

PICASO의 등장은 단순한 기술적 진보를 넘어, 더욱 빠르고 효율적인 AI 시스템 개발에 새로운 이정표를 제시하는 사건입니다. 앞으로 PICASO가 어떻게 발전하고 활용될지, 그리고 AI 기술의 미래를 어떻게 바꿔놓을지 주목해 볼 필요가 있습니다. 이 연구는 Tian Yu Liu, Alessandro Achille, Matthew Trager, Aditya Golatkar, Luca Zancato, Stefano Soatto 등이 공동으로 수행하였습니다.