획기적인 AI 학습법 등장: 초장문 컨텍스트 학습의 혁명, 'Adjoint Sharding'


초거대 언어 모델의 장문 컨텍스트 학습의 난제를 해결하는 'adjoint sharding' 기법이 개발되었습니다. 이 기법은 메모리 사용량을 최대 3배 감소시켜 100K 토큰 이상의 컨텍스트 학습을 가능하게 하였으며, 향후 LLM의 성능 향상과 새로운 응용 분야 개척에 기여할 것으로 기대됩니다.

related iamge

초거대 언어 모델의 한계를 뛰어넘다: Adjoint Sharding

최근 급속한 발전에도 불구하고, 초거대 언어 모델(LLM)의 장문 컨텍스트 학습은 여전히 큰 과제로 남아있습니다. 기존 방법들은 몇천 토큰 이내의 짧은 컨텍스트로 학습하고, 추론 시에만 장문 컨텍스트(100만 토큰 이상)를 활용하는 방식에 머물러 있었습니다. 하지만, 실제 응용 분야에서는 사실 추출, 요약, 조정 등의 작업을 위해 다양한 참조 정보를 포함하는 장문 컨텍스트 학습 및 미세 조정이 필수적입니다.

Xingzi Xu를 비롯한 연구팀은 이러한 문제를 해결하기 위해 **'adjoint sharding'**이라는 혁신적인 기법을 제안했습니다. 이는 학습 중 기울기 계산을 분할하여 메모리 요구량을 획기적으로 줄이는 방법입니다. adjoint method를 기반으로 역전파와 동등한 기울기를 계산하며, truncated adjoint sharding을 통해 속도까지 향상시켰습니다. 더 나아가, 분산 및 병렬 처리 버전까지 개발하여 학습 속도를 더욱 높였습니다.

놀라운 성능 향상: 메모리 사용량 최대 3배 감소!

연구팀은 1.27B 매개변수의 LLM을 사용하여 실험을 진행했습니다. 그 결과, adjoint sharding은 메모리 사용량을 최대 3배까지 줄였습니다. 이를 통해 100만 토큰 길이의 컨텍스트 학습이 가능해졌습니다. AWS P4 인스턴스 5개로 구성된 환경에서, 기존 35K 토큰이었던 최대 컨텍스트 길이를 100K 토큰 이상으로 증가시키는 성과를 거두었습니다.

이 연구는 단순히 추론 속도만 개선한 것이 아니라, 실제 학습 과정에서 장문 컨텍스트를 효과적으로 활용할 수 있도록 한 획기적인 성과입니다. 앞으로 사실 추출, 요약, 지식 그래프 생성 등 다양한 분야에서 LLM의 성능 향상 및 새로운 응용 가능성을 열어줄 것으로 기대됩니다.


핵심 내용:

  • 문제: LLM의 장문 컨텍스트 학습의 어려움 (메모리 제한, 긴 학습 시간)
  • 해결책: adjoint sharding 기법 제안 (기울기 계산 분할, truncated, 분산/병렬 처리)
  • 결과: 메모리 사용량 최대 3배 감소, 100K 토큰 이상 컨텍스트 학습 가능
  • 의의: LLM의 장문 컨텍스트 학습 및 활용 가능성 확대

*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Adjoint sharding for very long context training of state space models

Published:  (Updated: )

Author: Xingzi Xu, Amir Tavanaei, Kavosh Asadi, Karim Bouyarmane

http://arxiv.org/abs/2501.00692v1