AI TREND NOW

#메모리 고효율 LLM 시대를 열다: ZSMerge의 혁신적인 KV 캐시 압축 기술

중국과학원 SusCom 연구소의 연구팀이 개발한 ZSMerge는 LLM의 메모리 효율을 획기적으로 높이는 기술로, LLaMA2-7B 모델에 적용하여 메모리 사용량을 5%로 줄이고 처리 속도를 3배 향상시켰습니다. 정보 손실 없이 효율성을 높인 ZSMerge는 향후 AI 시스템 발전에 큰 영향을 미칠 것으로 예상됩니다.

메모리 고효율 LLM 시대를 열다: ZSMerge의 혁신적인 KV 캐시 압축 기술

최근 초거대 언어 모델(LLM)의 급속한 발전은 긴 문맥 처리 능력 향상으로 이어지고 있지만, 동시에 메모리 사용량의 기하급수적인 증가라는 심각한 문제에 직면하고 있습니다. 키-값(KV) 캐시 메모리의 선형적 증가와 어텐션 메커니즘의 이차적 복잡도는 LLM의 성능 향상에 큰 걸림돌이 되고 있습니다.

기존의 KV 캐시 최적화 방법들은 토큰 자르기나 특징 병합을 통해 이러한 문제를 해결하려 했지만, 되돌릴 수 없는 정보 손실이나 비용이 많이 드는 매개변수 재훈련이 필요했습니다. 하지만, 중국과학원 산하 SusCom 연구소의 Xin Liu, Pei Liu, Guoming Tang 연구팀이 개발한 ZSMerge는 이러한 한계를 극복하는 획기적인 기술입니다.

ZSMerge는 세 가지 핵심 기능을 통해 동적 KV 캐시 압축을 구현합니다. 첫째, 다차원 토큰 중요도 지표를 기반으로 세분화된 메모리 할당을 수행합니다. 둘째, 보상된 어텐션 점수를 통해 중요한 문맥을 보존하는 잔차 병합 메커니즘을 사용합니다. 셋째, 재훈련 없이 다양한 LLM 아키텍처와 호환되는 제로샷 적응 메커니즘을 제공합니다.

ZSMerge의 놀라운 효과는 LLaMA2-7B 모델에 적용된 결과에서 확인됩니다. KV 캐시 보존율을 20:1로 압축하여 메모리 사용량을 기준 대비 5%로 줄였음에도 불구하고, 생성 품질은 유지하면서 54,000토큰이라는 극한의 긴 문맥에서도 처리 속도를 3배 향상시켰습니다. 이는 메모리 부족으로 인한 오류를 근본적으로 해결하는 혁신적인 성과입니다. 더 나아가, ZSMerge는 다양한 LLM 아키텍처에 적용 가능하며, 별도의 재훈련이 필요하지 않다는 장점을 가지고 있습니다.

ZSMerge 코드를 통해 직접 확인해 보세요. 이 연구는 메모리 효율적인 LLM 개발에 새로운 장을 열었을 뿐만 아니라, 더욱 강력하고 효율적인 AI 시스템 구축을 위한 중요한 이정표를 제시합니다. 앞으로 ZSMerge 기술의 발전과 다양한 분야에서의 활용 가능성에 대한 기대감이 높아지고 있습니다.