MathSpeech: 소형 언어 모델을 활용한 수학 음성-수식 변환의 정확도 향상
서울대학교 연구팀이 개발한 MathSpeech는 소형 언어 모델을 활용하여 수학적 음성을 LaTeX 수식으로 정확하게 변환하는 새로운 시스템입니다. GPT-4o 대비 향상된 성능을 보이며, 수학 분야의 의사소통 향상에 크게 기여할 것으로 기대됩니다.

들어가며: 수학 강의나 연구 발표 등 학술 및 전문적인 환경에서 수학적 표현을 구두로 전달해야 하는 경우가 많습니다. 하지만 시각자료 없이 수학 표현을 소리내어 읽으면 이해도가 크게 떨어질 수 있습니다. 특히 청각 장애인이나 언어 장벽으로 자막에 의존하는 사람들에게는 더욱 그렇습니다. 예를 들어, 발표자가 오일러 공식을 읽으면, 현재의 자동 음성 인식(ASR) 모델은 간결한 LaTeX 형식($e^{ix} = \cos(x) + i\sin(x)$) 대신 장황하고 오류가 발생하기 쉬운 텍스트 설명(예: e의 i x 제곱은 x의 코사인 플러스 i x의 사인)을 생성하는 경우가 많아 명확한 이해와 의사소통을 저해합니다.
MathSpeech의 등장: 현재 서울대학교 연구팀(현 시은, 정규단, 원재희, 김남준, 류현곤, 이혁재, 도재영)은 이러한 문제를 해결하기 위해 ASR 모델과 소형 언어 모델(sLM)을 통합하여 수학적 표현의 오류를 수정하고 구어체 표현을 구조화된 LaTeX 표현으로 정확하게 변환하는 새로운 파이프라인인 MathSpeech를 개발했습니다.
놀라운 성능: 강의 녹음 데이터에서 파생된 새로운 데이터셋을 사용하여 평가한 결과, MathSpeech는 1억 2천만 개의 파라미터만을 가진 미세 조정된 소형 언어 모델을 활용하면서도, 최고 수준의 상용 대규모 언어 모델(LLM)에 필적하는 LaTeX 생성 성능을 보여주었습니다. GPT-4o와 비교했을 때, LaTeX 변환에 대한 CER(Character Error Rate)은 0.390에서 0.298로 감소했고, ROUGE와 BLEU 점수는 더욱 향상되었습니다. 이는 MathSpeech가 수학적 음성을 수식으로 변환하는 데 있어 상당한 발전을 이루었다는 것을 의미합니다.
결론: MathSpeech는 소형 언어 모델의 효율성과 성능을 보여주는 훌륭한 사례입니다. 대규모 모델에 비해 자원 소모가 적으면서도, 수학 분야에서의 정확하고 효과적인 의사소통을 가능하게 함으로써, 학술 연구 및 교육 분야에 큰 기여를 할 것으로 기대됩니다. 앞으로도 MathSpeech의 발전을 통해 더욱 정확하고 효율적인 수학적 음성-수식 변환 기술이 개발될 것으로 예상됩니다. 이는 청각 장애인 및 다양한 언어 사용자를 포함한 더 많은 사람들에게 수학적 지식 접근성을 향상시키는 데 크게 기여할 것입니다.
Reference
[arxiv] MathSpeech: Leveraging Small LMs for Accurate Conversion in Mathematical Speech-to-Formula
Published: (Updated: )
Author: Sieun Hyeon, Kyudan Jung, Jaehee Won, Nam-Joon Kim, Hyun Gon Ryu, Hyuk-Jae Lee, Jaeyoung Do
http://arxiv.org/abs/2412.15655v1