초저비트 최적화의 한계를 뛰어넘다: SOLO 최적화 기법

중국과학원 자동화연구소 연구진이 개발한 SOLO 최적화 기법은 초저비트 양자화를 통해 메모리 사용량을 획기적으로 줄여 대규모 AI 모델 학습의 접근성을 높였습니다. 2~3비트의 초저비트 양자화를 통해 70억 매개변수 모델 학습 시 약 45GB의 메모리를 절약하며, 정확도 손실은 최소화했습니다.

AI 모델 학습의 새로운 지평을 열다: 2~3비트의 마법

최근 AI 모델의 크기가 기하급수적으로 증가하면서, 학습 및 미세 조정 비용 또한 천문학적으로 늘어나고 있습니다. 특히, 최적의 수렴을 위해 모델 크기의 두 배에 달하는 보조 정보를 유지하는 상태 유지 최적화 기법은 이러한 문제를 더욱 심화시키죠. 하지만 이제, 중국과학원 자동화연구소(Institute of Automation, Chinese Academy of Sciences)의 연구진이 이러한 한계를 극복할 혁신적인 최적화 기법을 선보였습니다. 바로 SOLO입니다.

2~3비트의 놀라운 효율성: 메모리 사용량 혁신적 감소

SOLO는 초저정밀도 양자화를 통해 극도로 가벼운 상태 오버로드를 달성한 새로운 최적화 기법입니다. 기존 연구들이 8비트 또는 4비트 양자화를 통해 어느 정도의 성공을 거두었지만, SOLO는 이를 뛰어넘어 2비트 또는 3비트라는 초저비트 양자화를 통해 작동합니다. 이는 마치 마법과 같이 들리지만, 연구진은 이를 가능하게 하는 두 가지 핵심적인 문제를 해결했습니다.

• 문제 1: 부호 없는 양자화에서의 신호 압도 문제: 부호 없는 양자화는 상태 역학에 변화를 주지 못하는 문제점을 가지고 있습니다. 연구진은 이 문제를 해결하기 위해 맞춤형 로그 양자화 기법을 제시하였습니다.
• 문제 2: 부호 있는 양자화에서의 높은 기울기 분산 문제: 부호 있는 양자화는 잘못된 하강 방향으로 이어질 수 있는 높은 기울기 분산 문제를 야기합니다. 이를 해결하기 위해 연구진은 정밀도에 특화된 모멘텀 값을 제시했습니다.

70억 매개변수 모델 학습에서의 압도적인 성능

이러한 혁신적인 접근 방식을 통해 SOLO는 70억 매개변수 모델 학습 시 약 45GB의 메모리 절약이라는 놀라운 결과를 달성했습니다. 이는 정확도 손실을 최소화하면서 이루어진 성과로, 대규모 모델 학습의 접근성 향상에 크게 기여할 것으로 기대됩니다. Xu Cong 등 연구진의 이번 연구는 AI 연구의 새로운 장을 열고, 컴퓨팅 자원의 제약으로 인한 어려움을 극복하는 데 큰 도움을 줄 것으로 예상됩니다. 앞으로 SOLO가 어떻게 AI 발전에 기여할지 귀추가 주목됩니다.