컬러에서 클래스로: 비전 트랜스포머에서 개념의 등장

본 연구는 뉴런 라벨링 기법을 활용하여 ViT의 계층별 정보 처리 과정을 분석하여, 초기 계층은 기본적인 특징(색상, 질감)을, 후기 계층은 구체적인 클래스(사물, 동물)를 인코딩함을 밝혔습니다. 또한, 사전 학습 전략이 인코딩된 개념의 수량과 범주에 영향을 미치는 것을 확인했습니다.

최근 컴퓨터 비전 분야에서 Vision Transformer (ViT)의 활용이 급증하고 있습니다. 강력한 표현 능력 덕분이죠. 하지만, ViT가 정보를 계층별로 어떻게 처리하는지에 대한 연구는 아직 미흡한 실정입니다. 많은 연구에서 합성곱 신경망(CNN)은 계층을 거치면서 점점 더 복잡한 특징을 추출한다는 것을 보여주었는데요. 이는 도메인 적응 및 전이 학습과 같은 작업에 매우 중요합니다.

CNN과 같은 귀납적 편향이 없는 ViT는 주의 메커니즘 덕분에 초기 계층부터 전역적 의존성을 학습할 수 있는 잠재력을 가지고 있습니다. 컴퓨터 비전에서 ViT의 중요성이 커지고 있는 만큼, ViT의 계층별 이해를 높이는 것이 절실합니다.

Teresa Dorszewski 등 연구진은 최첨단 ViT에 인코딩된 개념에 대한 새로운 계층별 분석 결과를 발표했습니다. 뉴런 라벨링이라는 기법을 사용했죠. 연구 결과, ViT는 네트워크 전체에서 점점 더 복잡한 개념을 인코딩하는 것으로 나타났습니다. 초기 계층은 색상과 질감과 같은 기본적인 특징을 주로 인코딩하는 반면, 후기 계층은 사물과 동물을 포함한 더 구체적인 클래스를 나타냅니다.

인코딩된 개념의 복잡성이 증가함에 따라 각 계층에 표현되는 개념의 수도 증가하는데요, 이는 더 다양하고 구체적인 특징 집합을 반영합니다. 흥미롭게도, 서로 다른 사전 학습 전략은 인코딩된 개념의 수량과 범주에 영향을 미칩니다. 특정 하위 작업에 대한 미세 조정은 일반적으로 인코딩된 개념의 수를 줄이고, 더 관련성 있는 범주로 개념을 이동시키는 효과를 보였습니다.

이 연구는 ViT의 내부 동작에 대한 귀중한 통찰력을 제공하며, 향후 ViT의 설계 및 응용에 중요한 의미를 가질 것으로 예상됩니다. 특히, 다양한 사전 학습 전략의 영향을 분석한 부분은 ViT의 성능을 최적화하는 데 유용한 지침을 제시합니다. 앞으로 더욱 심도있는 연구를 통해 ViT의 잠재력을 더욱 탐구해 볼 수 있을 것입니다. 🤔