MathReader: 수학 문서도 이제 TTS로! 시각장애인을 위한 혁신적인 기술


현시은, 정규단, 김남준, 류현곤, 도재영 연구팀이 개발한 MathReader는 기존 TTS의 한계를 극복, 수학 공식 포함 문서의 WER을 획기적으로 감소시켜 시각장애인의 정보 접근성을 높였습니다. Github에서 공개된 코드를 통해 누구나 활용 가능합니다.

related iamge

MathReader: 수학 문서도 이제 TTS로! 시각장애인을 위한 혁신적인 기술

마이크로소프트, 어도비, 애플, 오픈AI 등 글로벌 기업들이 제공하는 TTS(Text-to-Speech) 문서 리더는 일반 텍스트에 대해서는 상당히 좋은 성능을 보입니다. 하지만 수학 공식이 포함된 문서에서는 이야기가 달라집니다. 대부분의 학술 논문은 LaTeX로 작성되고, 컴파일된 LaTeX 수식은 문서 내에서 독특한 텍스트 형태로 렌더링됩니다. 기존 TTS 리더는 수식의 수학적 의미를 고려하지 않고 단순히 인식된 텍스트 그대로 출력하는 한계를 가지고 있었죠.

그래서 등장했습니다! 현시은, 정규단, 김남준, 류현곤, 도재영 연구팀이 개발한 MathReader!

MathReader는 OCR, 미세 조정된 T5 모델, 그리고 TTS를 효과적으로 통합하여 이러한 문제를 해결합니다. 기존 TTS 문서 리더(Microsoft Edge 및 Adobe Acrobat)와 비교하여 수학 공식이 포함된 문서 처리 시 Word Error Rate (WER)를 획기적으로 낮추는 놀라운 결과를 보여주었습니다.

  • Microsoft Edge 대비 WER을 0.510에서 0.281로 감소
  • Adobe Acrobat 대비 WER을 0.617에서 0.281로 감소

이는 단순한 기술적 진보를 넘어, 특히 시각 장애인들에게 문서 청취의 불편함을 크게 해소하는 데 기여할 것으로 기대됩니다. 더 이상 수학 공식 때문에 문서 접근에 어려움을 느낄 필요가 없어진 것이죠! 🎉

MathReader의 놀라운 성과는 다음과 같은 핵심 요소들 덕분입니다:

  • OCR(Optical Character Recognition): 문서 이미지에서 텍스트와 수식을 정확하게 추출합니다.
  • 미세 조정된 T5 모델: 수학적 의미를 이해하고 정확하게 텍스트를 생성합니다.
  • TTS(Text-to-Speech): 생성된 텍스트를 자연스러운 음성으로 변환합니다.

이 혁신적인 기술은 Github에서 공개되어 누구나 활용할 수 있습니다. (https://github.com/hyeonsieun/MathReader)

MathReader는 단순한 기술이 아닌, 더 많은 사람들에게 정보 접근의 기회를 제공하는 따뜻한 기술입니다. 앞으로도 이러한 혁신적인 기술들이 더욱 발전하여 세상을 더욱 포용적인 공간으로 만들어주길 기대합니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] MathReader : Text-to-Speech for Mathematical Documents

Published:  (Updated: )

Author: Sieun Hyeon, Kyudan Jung, Nam-Joon Kim, Hyun Gon Ryu, Jaeyoung Do

http://arxiv.org/abs/2501.07088v1