압축의 한계를 넘어서: 초고효율 델타 압축 기술 UltraDelta

본 기사는 데이터 없이도 초고압축률과 우수한 성능을 달성하는 최초의 데이터 없는 델타 압축 파이프라인 UltraDelta에 대한 소개입니다. 계층 간, 계층 내, 전역 차원에서의 정보 손실을 최소화하는 세 가지 핵심 구성 요소와 다양한 모델에서의 실험 결과를 통해 UltraDelta의 우수성을 보여줍니다. AI 모델의 효율적인 저장 및 배포에 새로운 가능성을 제시하는 획기적인 기술입니다.

최근 미세 조정된 사전 학습 모델의 증가로 인해 다중 작업을 위한 수많은 모델을 저장하는 데 상당한 저장 공간 부담이 발생하고 있습니다. 델타 압축은 사전 학습된 모델과 미세 조정된 모델과의 가중치 차이(델타 가중치)만 저장하여 이 문제를 완화하는 기술입니다. 하지만 기존 델타 압축 방법들은 높은 압축률과 성능을 동시에 유지하는 데 어려움을 겪었고, 대부분 데이터에 의존하는 한계를 가지고 있었습니다.

이러한 문제점을 해결하기 위해 등장한 것이 바로 UltraDelta입니다. Wang Xiaohui 등 연구진이 개발한 UltraDelta는 데이터 없이도 초고압축률과 우수한 성능을 동시에 달성하는 최초의 데이터 없는 델타 압축 파이프라인입니다. UltraDelta는 중복성을 최소화하고 정보량을 극대화하며 계층 간, 계층 내, 그리고 전역 차원에서 성능을 안정화시키도록 설계되었습니다.

UltraDelta의 핵심은 다음과 같은 세 가지 구성 요소에 있습니다.

1. 분산 기반 혼합 스파스성 할당 (Variance-Based Mixed Sparsity Allocation): 계층별 분산에 따라 스파스성을 할당하여 고분산 계층에는 낮은 스파스성을 부여함으로써 계층 간 정보를 보존합니다. 이는 핵심 정보의 손실을 최소화하는 전략입니다.
2. 분포 인식 압축 (Distribution-Aware Compression): 균일 양자화를 적용한 후 값에 따라 매개변수를 그룹화하고 그룹별로 가지치기를 수행하여 계층 내 분포를 효과적으로 보존합니다. 이는 모델의 성능 저하를 방지하는 중요한 요소입니다.
3. 트레이스 노름 유도 재조정 (Trace-Norm-Guided Rescaling): 델타 가중치의 트레이스 노름을 사용하여 전역 재조정 계수를 추정하여 고압축 환경에서도 모델의 안정성을 향상시킵니다. 이를 통해 고압축 환경에서도 성능 저하를 최소화합니다.

실험 결과는 놀랍습니다. LLaMA-2(최대 133배), RoBERTa, T5(최대 800배), ViT(최대 400배), BEiT(40배) 등 다양한 모델에 대한 광범위한 실험을 통해 UltraDelta가 기존 방법보다 압도적으로 우수한 성능을 보임을 확인했습니다. 특히 초고압축 환경에서 그 효과가 더욱 두드러졌습니다. 이는 AI 모델의 저장 공간 문제에 대한 획기적인 돌파구를 제시하는 결과입니다.

UltraDelta의 등장은 AI 모델의 효율적인 저장 및 배포에 새로운 가능성을 열었습니다. 앞으로 더욱 발전된 압축 기술의 등장이 기대되며, 이는 AI 기술의 대중화와 발전에 큰 기여를 할 것으로 예상됩니다.