18B 파라미터의 거대 언어 모델 OWLS: 다국어 음성 인식 및 번역의 새로운 지평을 열다

OWLS 프로젝트는 18B 파라미터의 대규모 다국어 음성 인식 및 번역 모델을 통해 저자원 언어에 대한 성능 향상을 실현하고, 신경망 확장 법칙을 음성 분야에 적용하여 새로운 연구 방향을 제시했습니다.

최근 몇 년간, 인공지능(AI) 분야에서 신경망 확장 법칙(Neural scaling laws) 에 대한 연구가 활발히 진행되어 왔습니다. 하지만 이러한 법칙이 음성 처리 분야에 어떻게 적용되는지에 대한 연구는 상대적으로 부족했습니다.

이러한 맥락에서, 윌리엄 천(William Chen)을 비롯한 6명의 연구자들이 발표한 OWLS(OWLS: Scaling Laws for Multilingual Speech Recognition and Translation Models) 프로젝트는 매우 주목할 만합니다. OWLS는 0.25B에서 18B 파라미터에 이르는 다국어 음성 인식 및 번역 모델을 포괄하는, 공개적으로 접근 가능한 재현 가능한 연구입니다. 무려 18B 파라미터의 모델은 현재까지 알려진 가장 큰 규모의 음성 모델입니다.

OWLS 프로젝트는 150개 언어, 360,000시간에 달하는 방대한 양의 공개 음성 데이터를 활용했습니다. 이를 통해 연구진은 데이터, 모델, 연산량의 확장이 다국어 음성 처리 과제의 성능에 어떤 영향을 미치는지 체계적으로 조사할 수 있었습니다. 흥미롭게도, 연구 결과는 모델의 확장이 저자원 언어/방언의 성능을 향상시켜 편향성을 완화하고 음성 기술의 접근성을 개선하는 데 기여한다는 것을 보여줍니다.

OWLS 프로젝트의 또 다른 중요한 성과는 신경망 확장 법칙을 통해 성능을 신뢰도 있게 예측할 수 있다는 점입니다. 이는 향후 더욱 효율적인 대규모 모델 개발에 중요한 지침을 제공합니다. 또한, 연구진은 OWLS를 통해 대규모 음성 모델에서 나타나는 새로운 능력(emergent abilities) 을 발견하여 새로운 연구 방향을 제시했습니다. OWLS 모델의 체크포인트는 Hugging Face에서 공개되어 후속 연구를 위한 기반을 마련했습니다.

OWLS는 단순한 기술적 발전을 넘어, 다국어 음성 처리 기술의 접근성 향상이라는 사회적 의미를 지닌 연구입니다. 앞으로 OWLS를 기반으로 한 다양한 연구들이 이어져, 더욱 정확하고 포괄적인 음성 인식 및 번역 기술이 개발될 것으로 기대됩니다.