놀라운 성능! 마이크로소프트의 초소형 다중 모달 AI 모델, Phi-4-Mini 및 Phi-4-Multimodal

마이크로소프트 연구진이 개발한 Phi-4-Mini와 Phi-4-Multimodal은 소형 모델임에도 불구하고 뛰어난 성능을 보여주는 혁신적인 AI 모델입니다. Phi-4-Mini는 수학 및 코딩 과제에서 우수한 성능을, Phi-4-Multimodal은 다양한 모달리티를 통합하여 여러 과제에서 대형 모델들을 능가하는 성능을 선보였습니다. 이는 소형 모델을 활용한 효율적인 AI 개발의 새로운 가능성을 제시합니다.

마이크로소프트의 혁신적인 AI 모델: Phi-4-Mini와 Phi-4-Multimodal

최근 마이크로소프트 연구진이 발표한 Phi-4-Mini와 Phi-4-Multimodal은 AI 업계에 새로운 돌풍을 일으키고 있습니다. 38억 매개변수의 소형 모델인 Phi-4-Mini는 기존 동일 크기의 오픈소스 모델들을 압도하는 성능을 자랑하며, 특히 복잡한 추론을 요구하는 수학 및 코딩 과제에서 두 배 크기의 모델들과 비슷한 수준의 성능을 보여줍니다. 이러한 놀라운 성과는 고품질의 웹 데이터와 전략적으로 설계된 합성 데이터, 특히 수학 및 코딩 데이터셋에 기반한 세심한 데이터 훈련 방식 덕분입니다. 또한, 20만개의 토큰으로 확장된 어휘 크기와 그룹 쿼리 어텐션을 통해 다국어 지원 및 효율적인 장문 생성이 가능해졌습니다.

하지만 Phi-4-Mini의 놀라움은 여기서 그치지 않습니다. 연구진은 Phi-4-Mini를 추가로 학습시켜 추론 능력을 더욱 강화했습니다. 그 결과, DeepSeek-R1-Distill-Qwen-7B 와 DeepSeek-R1-Distill-Llama-8B 와 같은 훨씬 더 큰 모델들과 비교해도 뒤처지지 않는, 혹은 능가하는 추론 성능을 달성했습니다. 이는 소형 모델에서도 뛰어난 추론 성능을 확보할 수 있다는 가능성을 보여주는 중요한 결과입니다.

한편, Phi-4-Multimodal은 텍스트, 비전, 음성/오디오 입력 모달리티를 하나의 모델로 통합한 다중 모달 모델입니다. LoRA(Low-Rank Adaptation) 어댑터와 모달리티 특정 라우터라는 혁신적인 기술을 통해 다양한 모달리티 조합을 방해 없이 사용할 수 있습니다. (비전 + 언어), (비전 + 음성), (음성/오디오) 입력을 지원하며, 다양한 과제에서 대형 비전-언어 및 음성-언어 모델들을 능가하는 성능을 보입니다. 특히, 음성/오디오 모달리티의 LoRA 구성요소가 단 4억 6천만 매개변수 밖에 되지 않음에도 불구하고, OpenASR 리더보드에서 현재 1위를 차지하고 있다는 사실은 그 성능을 더욱 극적으로 보여줍니다.

이러한 결과들은 Phi-4-Mini와 Phi-4-Multimodal이 AI 기술 발전에 크게 기여할 뿐만 아니라, 소형 모델을 활용한 효율적인 AI 개발의 새로운 가능성을 제시한다는 것을 의미합니다. 앞으로 이러한 모델들이 다양한 분야에서 어떻게 활용될지, 그리고 어떠한 혁신을 가져올지 기대됩니다.