혁신적인 트랜스포머 구조: 전문가 혼합 모델의 새로운 지평, '중첩 트랜스포머'
Ayoub Ben Chaliah와 Hela Dellagi 연구팀의 '중첩 트랜스포머'는 오토인코더와 B-스플라인을 활용하여 LLM의 파국적 망각 문제를 해결하는 혁신적인 아키텍처입니다. 기존 모델의 기능을 유지하면서 도메인 특정 전문 지식을 추가하고 추론 중 모델 상태를 동적으로 전환하는 기능을 제공하여 AI 시스템의 유연성과 효율성을 크게 향상시킬 것으로 기대됩니다.

파국적 망각, 이제 과거의 이야기? 중첩 트랜스포머의 등장
대규모 언어 모델(LLM)의 발전은 눈부시지만, 새로운 작업이나 도메인에 적응할 때 '파국적 망각'이라는 큰 난관에 직면합니다. 기존의 미세 조정 방법은 종종 기존 지식을 덮어써 원래 작업의 성능 저하를 초래했습니다. 하지만 Ayoub Ben Chaliah와 Hela Dellagi 연구팀이 발표한 "Superposition in Transformers: A Novel Way of Building Mixture of Experts" 논문은 이 문제에 대한 혁신적인 해결책을 제시합니다.
오토인코더와 B-스플라인의 만남: 은닉 표현의 아름다운 중첩
연구팀은 오토인코더를 활용하여 기본 모델과 미세 조정된 모델의 은닉 표현을 공유된 파라미터 공간에 중첩하는 '중첩 트랜스포머' 아키텍처를 개발했습니다. 여기서 핵심은 B-스플라인 기반 블렌딩 계수입니다. 이 계수는 입력 데이터 분포에 따라 오토인코더가 은닉 상태를 적응적으로 재구성하도록 도와 파국적 망각을 효과적으로 완화합니다. 마치 서로 다른 색깔의 물감을 겹쳐서 새로운 색을 만들어내는 것처럼, 기존 모델의 지식과 새로운 지식이 조화롭게 공존하는 것입니다.
'모델 내' 중첩: 유연성과 효율성의 조화
이 방법은 기존 모델의 기능을 그대로 유지하면서 도메인 특정 전문 지식을 효율적으로 추가할 수 있게 합니다. 더 나아가, 추론 중 모델 상태를 동적으로 전환할 수 있는 기능을 제공하여 유연성을 더욱 높였습니다. 이는 마치 하나의 모델 안에 여러 개의 전문가를 갖춘 것과 같습니다. 필요에 따라 적절한 전문가를 선택하여 작업을 수행할 수 있는 것이죠.
새로운 시대를 여는 중첩 트랜스포머
중첩 트랜스포머는 LLM의 적응성과 효율성을 획기적으로 향상시키는 잠재력을 지니고 있습니다. 파국적 망각이라는 숙제를 해결함으로써, 더욱 강력하고 유연한 AI 시스템 구축의 길을 열어줄 것으로 기대됩니다. 이 연구는 AI 분야의 중요한 발걸음이며, 앞으로 AI 기술의 발전에 큰 영향을 미칠 것으로 예상됩니다.
Reference
[arxiv] Superposition in Transformers: A Novel Way of Building Mixture of Experts
Published: (Updated: )
Author: Ayoub Ben Chaliah, Hela Dellagi
http://arxiv.org/abs/2501.00530v1