7200만 청각장애인의 삶을 바꿀 혁신: 초경량 수어 인식 모델 KD-MSLRT
Li ulong 등 연구진이 개발한 초경량 수어 인식 모델 KD-MSLRT는 기존 모델 대비 월등한 성능과 경량화를 통해 실시간 수어 인식 및 번역을 가능하게 합니다. 대규모 데이터셋 구축 및 다양한 플랫폼에서의 배포 가능성 검증을 통해 청각 장애인들의 삶의 질 향상에 크게 기여할 것으로 기대됩니다.

전 세계 7200만 명의 청각 장애인들에게 더 나은 삶을 제공하기 위한 노력은 아직 부족한 실정입니다. 기존의 수어 인식 및 번역 모델들은 대규모 매개변수를 사용하여 처리 속도가 느리고, 모바일 기기에서의 활용이 어려웠습니다. 하지만, Li ulong 등 연구진이 개발한 KD-MSLRT 모델은 이러한 문제점을 극복하고 혁신적인 가능성을 제시합니다.
KD-MSLRT는 MediaPipe와 3D-to-1D 지식 증류 기술을 기반으로 하는 초경량 수어 인식 모델입니다. 기존 모델들보다 훨씬 작은 크기(12.93MB)를 자랑하며, TensorFlow Lite를 통해 빠른 처리 속도를 구현했습니다. 이는 기존 모델의 Word Error Rate (WER) 대비 최소 1.4% 감소라는 놀라운 성능 향상과 함께, 실시간 수어 인식 및 번역을 가능하게 합니다. 이는 마치 실시간 통역 서비스처럼, 수어를 텍스트로 즉시 변환해주는 것을 의미합니다.
연구진은 단순히 모델의 성능 향상에만 그치지 않았습니다. PHOENIX14 및 PHOENIX14T 데이터셋을 사용한 실험 결과를 통해 KD-MSLRT의 우수성을 입증했을 뿐만 아니라, 중국어 수어 데이터셋을 대규모로 구축하여 공개함으로써 수어 인식 기술 연구의 발전에 크게 기여했습니다. 또한, 다양한 데이터 증강 기법을 비교 분석하여, 랜드마크 데이터에 대한 데이터 증강 연구의 새로운 지평을 열었습니다. 더 나아가, Intel 플랫폼 CPU를 이용한 모델 배포 및 예측 시뮬레이션을 통해 다른 플랫폼에서의 배포 가능성까지 검증했습니다. 이는 실제 현장 적용을 위한 중요한 단계입니다.
KD-MSLRT는 단순한 기술적 발전을 넘어, 청각 장애인들의 정보 접근성을 높이고 사회 참여를 확대하는 데 중요한 역할을 할 것으로 기대됩니다. 이는 기술이 사회적 문제 해결에 기여할 수 있는 훌륭한 사례입니다. 향후 더욱 발전된 모델을 통해 더 많은 사람들이 수어 인식 기술의 혜택을 누릴 수 있기를 기대합니다. 특히, 모바일 기기에서의 활용은 청각 장애인들의 일상생활에 혁신적인 변화를 가져올 것입니다.
이 연구는 Li ulong, Bolin Ren, Ke Hu, Changyuan Liu, Zhengyong Jiang, Kang Dang, Jionglong Su에 의해 진행되었습니다.
Reference
[arxiv] KD-MSLRT: Lightweight Sign Language Recognition Model Based on Mediapipe and 3D to 1D Knowledge Distillation
Published: (Updated: )
Author: ulong Li, Bolin Ren, Ke Hu, Changyuan Liu, Zhengyong Jiang, Kang Dang, Jionglong Su
http://arxiv.org/abs/2501.02321v1