혁신적인 AI 모델 SWAT: 장문 문서 처리의 새로운 지평을 열다

중국과학원 연구진이 개발한 SWAT 모델은 소프트맥스 대신 시그모이드 함수와 ALiBi, Rotary Position Embedding을 활용하여 장문 문서 처리의 효율성을 높였으며, 8개 벤치마크에서 SOTA 성능을 달성했습니다. 기존 트랜스포머 아키텍처를 유지하면서 효율성을 개선한 점이 특징입니다.

최근 대규모 언어 모델(LLM)의 발전은 여러 작업에서 놀라운 성능을 보여주었습니다. 하지만, 시퀀스 길이에 대한 이차적 계산 복잡도는 장문 문서 처리의 큰 걸림돌이었습니다. 이 문제를 해결하기 위해, 희소 어텐션이나 상태 공간 모델과 같은 다양한 시도가 있었지만, 성능 저하나 구조적 복잡성을 야기하는 한계가 있었습니다.

중국과학원 소속 연구진 (Zichuan Fu, Wentao Song, Yejing Wang, Xian Wu, Yefeng Zheng, Yingying Zhang, Derong Xu, Xuetao Wei, Tong Xu, Xiangyu Zhao)은 이러한 문제를 해결하기 위해 SWAT (Sliding Window Attention Training) 이라는 혁신적인 모델을 제시했습니다. SWAT은 기본적인 트랜스포머 아키텍처를 유지하면서 효율적인 장문 컨텍스트 처리를 가능하게 합니다.

연구진은 트랜스포머의 비효율성이 소프트맥스 연산의 높은 분산으로 인한 어텐션 싱크 현상 때문이라고 분석했습니다. 이에, 소프트맥스 함수 대신 시그모이드 함수를 사용하여 이 문제를 해결했습니다. 뿐만 아니라, ALiBi와 Rotary Position Embedding을 결합하여 효율적인 정보 압축 및 유지를 구현했습니다.

8개의 벤치마크 실험 결과, SWAT은 기존 최첨단 선형 순환 아키텍처를 능가하는 성능을 달성했습니다. 이는 SWAT이 장문 문서 처리에 있어 새로운 기준을 제시함을 의미합니다. 코드는 https://anonymous.4open.science/r/SWAT-attention 에서 확인할 수 있습니다.

SWAT의 핵심은 단순성과 효율성의 조화에 있습니다. 기존 모델의 복잡성을 유지하지 않고, 효과적인 방법으로 장문 처리 문제를 해결한 점이 주목할 만합니다. 이 연구는 LLM의 발전에 새로운 가능성을 제시하며, 앞으로 더욱 발전된 장문 처리 기술의 개발을 기대하게 합니다. 특히, 시그모이드 함수와 위치 임베딩 기술의 조합은 향후 다른 AI 모델 개발에도 영감을 줄 것으로 예상됩니다.