비전 트랜스포머의 '마음'을 들여다보다: 의사결정 과정 시각화의 혁신

Liao Yi, Gao Yongsheng, Zhang Weichuan 연구팀이 개발한 Dynamic Accumulated Attention Map (DAAM)은 비전 트랜스포머(ViT) 모델의 의사결정 과정을 시각화하는 혁신적인 방법입니다. 새로운 분해 모듈과 차원별 중요도 가중치를 통해 ViT 내부의 주의 흐름을 최초로 시각화하며, 정량 및 정성 분석을 통해 그 효과와 우수성을 검증했습니다. GitHub를 통해 코드를 공개하여 연구의 접근성을 높였습니다.

비전 트랜스포머의 '블랙박스'를 열다: DAAM의 등장

최근 이미지 인식 분야에서 괄목할 만한 성과를 보이고 있는 비전 트랜스포머(ViT) 모델. 하지만 그 내부의 복잡한 의사결정 과정은 여전히 베일에 싸여 있었습니다. 기존의 시각적 설명 방법들은 ViT의 내부 구조, 즉 최종 주의 영역이 어떻게 형성되는지에 대한 정보를 제공하지 못했습니다.

이러한 한계를 극복하기 위해 Liao Yi, Gao Yongsheng, Zhang Weichuan 연구팀은 혁신적인 시각적 설명 기법인 Dynamic Accumulated Attention Map (DAAM) 을 개발했습니다. DAAM은 ViT 네트워크를 상하로 관통하는 주의 흐름을 최초로 시각화하는 도구를 제공합니다.

DAAM: 블록별 주의 지도의 역동적인 흐름

DAAM의 핵심은 새로운 분해 모듈입니다. 이 모듈은 각 ViT 블록의 자기 주의 모듈에서 생성된 [class] 토큰으로부터 공간적 특징 정보를 추출하고 저장합니다. 또한, 지도 학습 ViT 모델의 경우 분류 점수를 분해하여 채널 중요도 계수를 얻습니다. 자체 감독 학습 ViT 모델에서는 분류 점수가 없기 때문에, 연구팀은 차원별 중요도 가중치를 제안하여 채널 중요도 계수를 계산합니다.

이렇게 얻어진 공간적 특징과 채널 중요도 계수를 선형적으로 결합하여 각 블록에 대한 주의 지도를 생성합니다. 그리고 블록별로 각 주의 지도를 누적하여 동적인 주의 흐름을 보여줍니다. 이는 ViT 모델 내부의 어떤 중간 블록에 대한 의사결정 주의의 진화 역학을 시각화하는 데 초점을 맞춘 획기적인 접근 방식입니다.

검증된 성능과 오픈소스 공개

연구팀은 정량 및 정성 분석을 통해 DAAM의 효과와 우수성을 검증했습니다. 완전 연결 계층을 분류기로 사용하는 ViT 모델뿐만 아니라 자체 감독 학습 ViT 모델에서도 효과적으로 작동하는 것을 확인했습니다. 더욱이, GitHub (https://github.com/ly9802/DynamicAccumulatedAttentionMap)을 통해 코드를 공개하여 연구의 접근성을 높였습니다.

미래를 향한 시선: AI 설명 가능성의 확장

DAAM은 단순한 시각화 도구를 넘어, AI 모델의 '블랙박스'를 열고 그 작동 원리를 이해하는 데 중요한 발걸음을 내디뎠습니다. 이는 AI의 신뢰성과 설명 가능성을 높이는 데 크게 기여할 뿐만 아니라, 더욱 발전된 AI 모델 개발을 위한 중요한 토대를 마련할 것으로 기대됩니다. 앞으로 DAAM이 어떻게 AI 연구와 응용에 활용될지, 그 귀추가 주목됩니다.