혁신적인 다중 모달리티 대규모 언어 모델: MapleLeaf AKI

Sony 연구팀이 개발한 MapleLeaf AKI는 인과적 어텐션을 다중 모달리티 상호 어텐션(MMA)에 통합하여 시각-언어 불일치 문제를 해결하는 혁신적인 다중 모달리티 대규모 언어 모델입니다. 추가적인 파라미터나 훈련 시간 증가 없이 12개의 벤치마크에서 평균 7.2%의 성능 향상을 달성했으며, 다양한 모달리티와 시나리오에 확장 가능하다는 장점을 지닙니다.

시각이 이해를 낳는다: 다중 모달리티 LLM을 위한 인과적 어텐션의 잠금 해제

최근 다중 모달리티 대규모 언어 모델(MLLM)은 다양한 질문에 대한 인지 및 추론 능력을 크게 향상시켰습니다. 이는 기초 모델 분야에 새로운 연구 시대를 열었지만, 여전히 풀어야 할 과제가 존재합니다. 바로 시각-언어 불일치 문제입니다.

MLLM이 생성하는 텍스트 응답이 주어진 텍스트-이미지 입력과 사실적으로 일치하지 않는 현상이 나타나고 있는 것입니다. 기존 연구는 주로 특수한 시각-언어 연결기를 개발하거나 다양한 영역에서 시각적 지시 조정을 활용하는 데 집중해왔습니다.

하지만 Wang 박사 연구팀(Wei-Yao Wang, Zhao Wang, Helen Suzuki, Yoshiyuki Kobayashi)은 이 문제에 대한 근본적인 해결책을 제시합니다. 바로 MLLM의 핵심 구조를 재검토하는 것입니다. 대부분의 MLLM은 인과적 어텐션 메커니즘으로 구성된 디코더 전용 LLM을 기반으로 하며, 이는 초기 모달리티(예: 이미지)가 후기 모달리티(예: 텍스트)의 정보를 통합하는 능력을 제한합니다.

연구팀은 이 문제를 해결하기 위해 MapleLeaf AKI라는 새로운 MLLM을 제안합니다. AKI는 인과적 어텐션을 모달리티 상호 어텐션(MMA) 에 통합하여 이미지 토큰이 텍스트 토큰에 주의를 기울일 수 있도록 합니다.

이 간단하면서도 효과적인 설계 덕분에 AKI는 추가적인 매개변수나 훈련 시간 증가 없이 12개의 다중 모달리티 이해 벤치마크에서 평균 7.2%의 성능 향상을 달성했습니다. 더욱이, MMA 설계는 다양한 모달리티에 적용 가능하고 다양한 다중 모달리티 시나리오에 확장 가능하도록 설계되었습니다. 연구팀은 https://github.com/sony/aki 에서 코드와 모델을 공개하여 MLLM의 발전을 위한 협력을 장려하고 있습니다.

결론적으로, MapleLeaf AKI는 MLLM의 성능 향상과 다양한 응용 가능성을 보여주는 획기적인 연구 결과입니다. 인과적 어텐션과 MMA의 결합은 향후 다중 모달리티 모델 개발에 중요한 전환점이 될 것으로 기대됩니다.