시각적 주의력은 결코 사라지지 않는다: 상세 이미지 캡션 생성을 위한 선택적 진보적 주의력 재보정

정웅, 이새형, 김은지, 윤성로 연구팀은 멀티모달 대규모 언어 모델(MLLM)의 상세 이미지 캡션 생성 성능 향상을 위해 훈련 과정 없이 적용 가능한 SPARC 기법을 제안했습니다. SPARC는 시각적 주의력의 약화와 잡음 증가 문제를 해결하여 정확성과 재현율을 동시에 향상시키는 효과를 보였습니다.

시각장애인 지원부터 데이터 생성까지, 상세한 이미지 캡션의 중요성은 날로 커지고 있습니다. 하지만 현재의 멀티모달 대규모 언어 모델(MLLM)들은 정확성(precision)과 재현율(recall) 사이에서 균형을 맞추는 데 어려움을 겪고 있습니다. 정확한 정보만 담는 것만큼, 모든 중요한 정보를 빠짐없이 담는 것도 중요하기 때문입니다. 정확성에 치우치면 중요한 정보를 놓칠 수 있고, 재현율에만 집중하면 잡음이 많아질 수 있습니다.

정웅, 이새형, 김은지, 윤성로 연구팀은 이러한 MLLM의 한계를 극복하기 위해 SPARC (Selective Progressive Attention ReCalibration) 라는 혁신적인 방법을 제안했습니다. 연구팀은 긴 응답이 생성될수록 시각적 주의력이 약해지고 잡음이 증가하는 현상에 주목했습니다. 즉, 모델이 이미지의 중요한 부분을 놓치거나, 중요하지 않은 부분에 과도하게 집중하는 현상이 발생한다는 것을 발견한 것입니다.

SPARC는 다음과 같은 세 가지 핵심 관찰 결과에 기반합니다.

1. 모든 시각 토큰의 영향력을 증가시키면 재현율이 감소합니다. 따라서 SPARC는 시각 토큰 중 중요한 토큰만 선택적으로 증폭시킵니다.
2. 캡션이 길어짐에 따라 시각적 주의력이 더욱 잡음이 많아집니다. SPARC는 시간 단계에 따른 주의력 차이를 활용하여 중요한 시각 토큰을 식별합니다.
3. 시각적 주의력이 점차 약해짐에 따라 SPARC는 그 영향력을 유지하기 위해 강화합니다.

놀라운 점은 SPARC가 훈련 과정 없이(training-free) 기존 모델에 적용될 수 있다는 점입니다. 이는 막대한 계산 비용을 절감하고, 기존 모델의 성능을 손쉽게 향상시킬 수 있음을 의미합니다. 연구팀은 자동 평가와 인간 평가를 모두 활용하여 SPARC가 기존 방법들과 달리 정확성과 재현율을 모두 향상시킨다는 것을 입증했습니다. 단순히 정확성만 높이는 것이 아니라, 중요한 정보를 놓치지 않으면서도 잡음을 줄이는 데 성공한 것입니다.

이 연구는 상세 이미지 캡션 생성 분야에 새로운 지평을 열었습니다. SPARC는 단순한 기술적 개선을 넘어, 시각장애인을 위한 접근성 향상, 더욱 풍부한 데이터 생성 등 다양한 분야에 긍정적 영향을 미칠 것으로 기대됩니다. 앞으로 더욱 발전된 SPARC를 통해 보다 정확하고 완성도 높은 이미지 캡션 생성 기술이 현실로 다가올 것입니다.