AI 학계의 쾌거! 비전 트랜스포머의 효율적인 토큰 압축 기술 등장

중국 북서공업대학교 연구팀이 개발한 'Prune and Merge'는 비전 트랜스포머의 토큰 압축 효율을 획기적으로 향상시키는 기술입니다. ImageNet-1k 및 ADE20K 데이터셋 실험에서 최첨단 성능을 기록했으며, Github에 공개되어 누구나 활용 가능합니다.

중국 북서공업대학교 기계지능연구소 연구팀, 비전 트랜스포머의 효율적인 토큰 압축을 위한 혁신적인 방법 'Prune and Merge' 를 개발했습니다. 이 기술은 제한된 환경에서도 트랜스포머 모델을 구현할 수 있도록 계산 및 메모리 요구사항을 크게 줄여줍니다.

Prune and Merge: 토큰 압축의 새로운 지평

기존의 토큰 압축 방법과 달리, Prune and Merge는 트랜스포머 모델 내에서 토큰 가지치기(Pruning) 와 병합(Merging) 작업을 통합하여 계층별 토큰 압축을 수행합니다. 핵심은 훈련 가능한 병합 및 재구성 행렬과 지름길 연결(Shortcut Connections) 입니다. 이를 통해 중요 정보를 보존하면서 효율적으로 토큰을 병합하고, 가지치기된 토큰을 복원할 수 있습니다.

뿐만 아니라, 연구팀은 기울기 가중치 어텐션 점수 매커니즘을 도입했습니다. 이 기법은 훈련 단계에서 토큰 중요도 점수를 계산하여 추론 중 별도의 계산이 필요 없도록 하여 압축 효율을 더욱 높였습니다. 더 나아가, 기울기 정보를 활용하여 토큰의 전반적인 영향을 파악하고 최적의 압축 구조를 자동으로 식별합니다. 이는 기존의 방법들보다 훨씬 효율적이고 효과적인 압축을 가능하게 합니다.

놀라운 성능 향상: 실험 결과

ImageNet-1k 및 ADE20K 데이터셋을 사용한 광범위한 실험 결과는 Prune and Merge의 탁월한 성능을 입증했습니다. 특히 DeiT-Small 모델에서는 1.64배의 속도 향상을 달성했으며, 정확도 저하는 **겨우 0.2%**에 불과했습니다. 이는 기존 최첨단 방법을 훨씬 능가하는 결과입니다. 세그먼터 모델 압축 실험에서도 Prune and Merge의 효율성과 효과성이 확실하게 드러났습니다.

Github 공개: 누구나 활용 가능

연구팀은 Prune and Merge 코드와 모델을 Github (https://github.com/NUST-Machine-Intelligence-Laboratory/prune_and_merge)에 공개하여 누구나 자유롭게 활용할 수 있도록 했습니다.

이번 연구는 비전 트랜스포머의 효율성을 획기적으로 높인 중요한 성과로, 앞으로 AI 기술 발전에 큰 영향을 미칠 것으로 기대됩니다. 특히, 자원 제약 환경에서의 AI 모델 활용 가능성을 넓힘으로써 다양한 분야에서 AI 기술의 활용 범위를 확장할 것으로 예상됩니다.