효율적인 비전 트랜스포머를 위한 혁신적인 토큰 병합 기술: DTEM 소개


이 논문은 효율적인 비전 트랜스포머를 위해 독립적인 임베딩 모듈을 사용하여 토큰 병합을 향상시키는 DTEM을 제시합니다. 다양한 작업에서 성능 향상을 보였으며, ImageNet-1k 분류에서 FLOPs 감소와 정확도 유지를 동시에 달성했습니다.

related iamge

최근 비전 트랜스포머(ViT)의 효율성을 높이기 위한 다양한 연구가 진행되고 있습니다. 특히, 토큰 감축 기법은 계산량을 줄이는 데 효과적인 방법으로 주목받고 있는데요. 이러한 기법들은 토큰 임베딩 간의 유사성을 측정하고 가장 유사한 쌍을 결합하는 토큰 병합 과정을 포함합니다.

하지만 기존의 토큰 병합 방식은 ViT의 중간 특징에 직접적으로 의존하는 한계를 가지고 있습니다. 이는 토큰 병합에 맞춤화된 특징을 활용하는 것을 방해하고, 토큰 병합 성능 향상을 위해서는 반드시 end-to-end 학습이 필요하다는 것을 의미합니다.

이러한 문제를 해결하기 위해 이 논문에서는 Decoupled Token Embedding for Merging (DTEM) 이라는 혁신적인 방법을 제시합니다. 이승훈, 이동훈 연구원은 DTEM을 통해 지속적으로 완화된 토큰 병합 과정을 통해 학습된 독립적인 임베딩을 사용하여 토큰 병합을 향상시켰습니다.

핵심은 무엇일까요? DTEM은 ViT 순전파 과정과 분리된 경량 임베딩 모듈을 도입하여 토큰 병합을 위한 전용 특징을 추출합니다. 이는 중간 특징 사용의 제약을 해결하는 핵심 전략입니다. 또한, 학습 중에 적용되는 지속적인 완화 토큰 병합은 미분 가능한 방식으로 독립 임베딩을 학습할 수 있도록 합니다.

DTEM의 장점은 무엇일까요? 독립적인 구조 덕분에 기존 ViT 백본에 손쉽게 통합될 수 있으며, 독립 임베딩만 학습하거나 end-to-end 미세 조정을 통해 학습할 수 있습니다. 실험 결과, 분류, 캡션 생성, 분할 등 다양한 작업에서 일관된 성능 향상을 보였습니다. 특히 ImageNet-1k 분류 작업에서 DeiT-small을 사용하여 FLOPs를 37.2% 줄이면서도 top-1 정확도 79.85%를 유지하는 놀라운 결과를 달성했습니다. 자세한 내용은 Github 링크에서 확인할 수 있습니다.

이 연구는 ViT의 효율성을 크게 향상시키는 획기적인 기술을 제시하며, 앞으로 비전 트랜스포머 분야의 발전에 크게 기여할 것으로 기대됩니다. 향후 연구에서는 다양한 ViT 아키텍처 및 더욱 복잡한 작업에 대한 DTEM의 적용성을 탐구하는 것이 중요할 것입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Learning to Merge Tokens via Decoupled Embedding for Efficient Vision Transformers

Published:  (Updated: )

Author: Dong Hoon Lee, Seunghoon Hong

http://arxiv.org/abs/2412.10569v1