랜덤 직교 변환으로 AI 모델 경량화의 혁신을 이룬 RanDeS: 다중 모델 압축의 새로운 지평

Hangyu Zhou 등이 발표한 RanDeS는 무작위 직교 변환을 이용하여 다중 모델 압축 시 발생하는 성능 저하 문제를 해결한 혁신적인 기술입니다. 메모리 효율성을 높이고 새로운 모델 추가 및 제거가 용이하며, 컴퓨터 비전과 자연어 처리 등 다양한 분야에서 성능 향상을 보여줍니다. AI 모델 경량화와 효율적인 배포 전략에 중요한 전환점을 제시할 것으로 기대됩니다.

최근 주목받는 AI 연구 분야 중 하나인 다중 모델 압축. 여러 모델을 효율적으로 하나로 합쳐 사용하는 기술이지만, 각 모델의 특징을 반영하는 파라미터 조정 과정에서 발생하는 간섭 현상으로 성능 저하 문제에 직면해 왔습니다. 하지만, 2025년 5월 16일, Hangyu Zhou, Aaron Gokaslan, Volodymyr Kuleshov, 그리고 Bharath Hariharan이 발표한 논문 "RanDeS: Randomized Delta Superposition for Multi-Model Compression" 은 이 문제에 대한 획기적인 해결책을 제시했습니다.

RanDeS (Randomized Delta Superposition) 는 모델 병합을 압축 및 검색 방식으로 재구성하여 간섭 문제를 해결합니다. 핵심은 무작위 직교 변환(random orthogonal transformations) 입니다. 이 변환을 통해 서로 관련 없는 파라미터 조정 값(deltas) 간의 상관관계를 제거하여, 간섭을 최소화하는 것입니다. 마치 여러 악기의 소리가 서로 섞여 혼란스러운 소리가 아닌, 각 악기의 소리가 명확하게 들리도록 하는 것과 같습니다.

RanDeS의 놀라운 점은 새로운 모델을 추가할 때 추가 메모리가 필요 없다는 것입니다. 무작위 직교 변환은 랜덤 시드(seed)로 완벽하게 정의되기 때문에, 새로운 모델 추가는 단순히 시드값을 추가하는 것만으로 가능합니다. 또한, 데이터 및 모델에 독립적인 특성 덕분에 모델 추가 또는 제거가 간편하며, 계산 오버헤드도 최소화하여 유연하고 효율적인 다중 모델 서비스를 지원합니다. 실험 결과, 컴퓨터 비전과 자연어 처리 작업 모두에서 성능 향상을 보였습니다.

이 연구는 단순히 다중 모델 압축 기술을 개선하는 것을 넘어, AI 모델의 경량화 및 효율적인 배포 전략에 새로운 패러다임을 제시합니다. RanDeS는 메모리 제약이 큰 환경에서 다양한 AI 모델을 효과적으로 활용할 수 있는 가능성을 열어주며, 앞으로 AI 기술 발전에 큰 영향을 미칠 것으로 기대됩니다. 특히, 모바일 기기나 자원 제약이 심한 임베디드 시스템에서의 AI 활용에 혁신적인 변화를 가져올 수 있을 것입니다.

결론적으로, RanDeS는 무작위 직교 변환을 이용한 혁신적인 다중 모델 압축 기법으로, 메모리 효율성과 성능 향상을 동시에 달성하며, AI 모델 경량화 및 배포 전략의 새로운 지평을 열었습니다.