잊지 않는 AI: MEGa, 기억을 가진 LLM의 탄생

Xu Pan 등 연구진이 개발한 MEGa는 인간의 뇌 작동 원리를 모방하여 LLM의 지속적인 학습 능력을 향상시킨 새로운 프레임워크입니다. 기억을 가중치에 직접 저장하여 기억 상실 문제를 해결하고, 다양한 데이터셋에서 기존 방법보다 뛰어난 성능을 보였습니다.

인간은 새로운 경험으로부터 지속적으로 배우고 평생에 걸쳐 지식을 습득합니다. 하지만 현재의 대규모 언어 모델(LLM)은 새로운 기억을 순차적으로 추가하고 새로운 지식을 통합하는 데 어려움을 겪고 있습니다. Xu Pan, Ely Hahami, Zechen Zhang, 그리고 Haim Sompolinsky가 이끄는 연구팀은 이러한 LLM의 한계를 극복하는 획기적인 연구 결과를 발표했습니다. 그들이 개발한 Memory Embedded in Gated LLMs (MEGa) 는 인간의 뇌 작동 원리를 모방하여 기억을 가진 LLM을 구현하는 새로운 지속 학습 프레임워크입니다.

기존 LLM의 한계: 잊혀지는 기억

기존의 접근 방식들은 대용량 컨텍스트 창이나 외부 메모리 버퍼(예: Retrieval-Augmented Generation)를 통해 기억을 추가하는 데 집중했습니다. 하지만 일상적인 상황을 반영하는 시나리오에서는 효과가 제한적이었습니다. MEGa는 이러한 문제점을 해결하기 위해 새로운 접근 방식을 제시합니다.

MEGa: 기억을 가중치에 직접 저장하다

MEGa는 각 기억을 전용 게이트가 있는 저차원 가중치 집합에 저장합니다. 추론 과정에서 게이트 메커니즘은 쿼리 임베딩을 저장된 기억 임베딩과 매칭하여 관련 기억 가중치를 활성화합니다. 이를 통해 모델은 전체 기억을 회상하고 관련 질문에 답할 수 있습니다. 마치 인간의 뇌가 보조 기억 시스템을 활용하는 것과 유사합니다. 소설 속 인물과 위키피디아 사건에 대한 두 개의 데이터 세트에서 MEGa는 기존 방법보다 기억 상실(Catastrophic Forgetting) 문제를 완화하는 데 탁월한 성능을 보였습니다.

미래를 위한 전망: 지속적인 학습의 가능성

MEGa는 LLM의 지속적인 학습 능력을 향상시키는 중요한 진전을 보여줍니다. 이 연구는 단순히 정보를 처리하는 것을 넘어, 새로운 지식을 습득하고 기억하는 AI 개발의 가능성을 열어줍니다. 앞으로 MEGa가 더욱 발전하여 인간 수준의 지능을 가진 AI 개발에 중요한 역할을 할 것으로 기대됩니다. 이 연구는 인공지능 분야의 혁신적인 발전이며, 끊임없이 학습하고 성장하는 AI 시대의 도래를 예고합니다.