혁신적인 소형 오디오 언어 모델 'Mellow' 등장: 에지 디바이스 시대의 추론 가능성을 열다

소형 오디오 언어 모델 'Mellow'와 새로운 데이터셋 'ReasonAQA'의 개발로 에지 디바이스에서의 AI 기반 추론이 가능해졌습니다. 기존 대규모 모델보다 훨씬 적은 자원으로 경쟁력 있는 성능을 달성하여 다양한 분야에서의 혁신적인 응용이 기대됩니다.

인공지능(AI) 분야에서 멀티모달 오디오-언어 모델(ALM)은 오디오와 텍스트를 모두 이해하고 추론하는 능력으로 주목받고 있습니다. 하지만, 일반적으로 성능은 모델 크기에 비례하여, 80억 개 이상의 파라미터를 가진 대규모 모델이 최고의 성능을 보여왔습니다. 에지 디바이스에서의 활용을 고려하면, 소형 ALM의 추론 능력 향상은 매우 중요한 과제였습니다.

이러한 문제에 대한 해결책으로, Soham Deshmukh, Satvik Dixit, Rita Singh, Bhiksha Raj 등의 연구진이 개발한 소형 오디오-언어 모델 'Mellow' 이 등장했습니다. Mellow는 기존 소형 ALM들 중 최고의 성능을 달성했을 뿐만 아니라, 더 큰 모델들보다 추론 능력에서 우위를 보였습니다. MMAU 벤치마크에서 Mellow는 52.11점을 기록하며, 52.5점을 기록한 대규모 모델인 SoTA Qwen2 Audio와 비슷한 성능을 보였지만, 파라미터 수는 50배, 학습 데이터(오디오 시간)는 60배나 적었습니다!

Mellow의 놀라운 성능 비결 중 하나는 바로 새로운 데이터셋 ReasonAQA 입니다. 기존 데이터셋 30%와 합성 데이터 70%로 구성된 ReasonAQA는 대규모 언어 모델(LLM)을 이용하여 오디오 캡션 데이터셋에서 오디오 이벤트, 객체, 음향 장면, 신호 특성, 의미론, 청취자 감정 등에 초점을 맞춘 상세하고 다양한 선택지의 질문들을 생성하여 만들어졌습니다. 이를 통해 오디오 기반 추론 능력을 크게 향상시켰습니다.

연구진은 다양한 작업을 통해 Mellow의 추론 능력을 평가했습니다. 오디오 이해, 연역 추론, 비교 추론 등 다양한 과제를 통해 in-distribution 및 out-of-distribution 데이터에서 Mellow의 성능을 검증했습니다. 또한, 투영 레이어 선택, 합성 데이터 생성 방법, 언어 모델 사전 훈련의 영향을 분석하는 광범위한 ablation study를 수행하여 모델 성능 향상에 기여했습니다.

'Mellow'와 'ReasonAQA'는 소형 ALM의 추론 능력을 향상시키는 중요한 이정표를 세웠습니다. 에지 디바이스에서도 AI 기반 추론이 가능해짐에 따라, 다양한 분야에서 혁신적인 응용이 기대됩니다. 특히, 실시간 오디오 분석 및 이해가 필요한 분야에서 'Mellow'의 활용 가능성은 무궁무진합니다. 본 연구 결과는 소형 ALM 개발의 새로운 가능성을 열었을 뿐만 아니라, AI 기술의 발전을 가속화하는 데 크게 기여할 것으로 예상됩니다.