멀티모달 LLM의 혁신: AKI 모델 등장

Sony 연구팀이 개발한 AKI 모델은 멀티모달 대규모 언어 모델의 비전-언어 정렬 문제를 해결하기 위해 모달 상호 주의 메커니즘을 도입하여 성능 향상을 이끌어냈으며, 공개된 코드와 모델을 통해 MLLM 연구의 발전에 기여할 것으로 기대됩니다.

최근 급격한 발전을 거듭하고 있는 멀티모달 대규모 언어 모델(MLLM)은 이미지와 텍스트를 동시에 이해하고 추론하는 능력을 선보이며 인공지능 연구의 새로운 지평을 열었습니다. 하지만 MLLM은 여전히 비전-언어 정렬 문제라는 난관에 직면해 있습니다. 이는 모델이 생성하는 텍스트 응답이 입력된 이미지와 텍스트와 사실적으로 일치하지 않는 현상을 말합니다.

기존 연구는 주로 특수한 비전-언어 연결 장치 개발이나 다양한 영역의 시각적 지시 조정에 초점을 맞춰 이 문제를 해결하려 했습니다. 하지만, Sony 연구소의 Wang, Wang, Suzuki, Kobayashi 연구팀은 훨씬 근본적인 접근 방식을 제시했습니다. 바로 MLLM의 핵심 구조를 재검토하는 것입니다.

많은 MLLM은 인과적 주의 메커니즘을 기반으로 하는 디코더 전용 LLM으로 구성됩니다. 이는 초기 모달(예: 이미지)이 후기 모달(예: 텍스트)의 정보를 통합하는 능력을 제한합니다. 이 문제를 해결하기 위해 연구팀은 AKI라는 새로운 MLLM을 제안했습니다. AKI는 모달 상호 주의(MMA) 에 인과적 주의를 적용하여 이미지 토큰이 텍스트 토큰에 주의를 기울일 수 있도록 합니다.

이 간단하면서도 효과적인 설계 덕분에 AKI는 추가적인 매개변수나 훈련 시간 증가 없이 12가지 멀티모달 이해 벤치마크에서 평균 7.2% 향상된 성능을 달성했습니다. 더욱이, MMA 설계는 다양한 모달과 멀티모달 시나리오에 적용 가능하도록 일반적이고 확장성이 뛰어납니다.

연구팀은 AKI의 코드를 https://github.com/sony/aki에 공개하고, AKI-4B 모델도 공개할 예정입니다. 이를 통해 MLLM 연구의 발전에 크게 기여할 것으로 기대됩니다. 이는 단순한 기술적 진보를 넘어, 인공지능이 이미지와 텍스트를 더욱 정확하고 심층적으로 이해하는 시대를 앞당길 혁신적인 성과입니다. 앞으로 AKI를 기반으로 한 다양한 응용 프로그램과 연구가 활발히 진행될 것으로 예상됩니다. 특히, 다양한 분야의 멀티모달 데이터 분석 및 활용에 있어 괄목할 만한 성과를 기대해볼 수 있습니다.