혁신적인 경량 수화 인식 모델: 청각 장애인을 위한 AI의 새로운 지평
Li Yulong 등 연구팀이 개발한 경량 수화 인식 모델 KD-MSLRT는 3D-1D 크로스 모달 지식 증류 및 텍스트 오류 수정 프레임워크를 통해 기존 모델 대비 WER을 1.4% 감소시키고, 모델 크기를 12.93MB로 줄여 모바일 배포의 가능성을 열었습니다. 중국어 수화 데이터셋 구축 및 다양한 플랫폼에서의 실험을 통해 청각 장애인의 삶의 질 향상에 기여할 것으로 기대됩니다.

전 세계 7200만 명의 청각 장애인들의 삶의 질 향상을 위한 기술적 해결책은 여전히 부족합니다. 기존의 수화 인식 및 번역 모델들은 대용량의 파라미터와 높은 연산량으로 인해 실시간 처리 및 모바일 기기 배포에 어려움을 겪어 왔습니다. Li Yulong 박사를 비롯한 연구팀은 이러한 문제점을 해결하기 위해 획기적인 연구를 진행했습니다.
혁신의 핵심: 연구팀은 'KD-MSLRT' 라는 새로운 경량 수화 인식 모델을 개발했습니다. 이 모델은 MediaPipe 기반의 효율적인 랜드마크 추출과 3D에서 1D로의 크로스 모달 지식 증류 기법을 통해 기존 모델의 한계를 극복했습니다. 특히, 3D-1D 크로스 모달 지식 증류 와 새로운 end-to-end 사전 훈련 텍스트 수정 프레임워크 를 제안하여 텍스트 출력 오류를 크게 줄였습니다.
놀라운 성과: KD-MSLRT는 PHOENIX14 와 PHOENIX14T 데이터셋에서 기존 최고 성능 모델인 CorrNet에 비해 WER(Word Error Rate)을 최소 1.4% 감소 시키는 놀라운 성과를 달성했습니다. 더욱 놀라운 점은 TensorFlow Lite (TFLite) 압축을 통해 모델 크기를 12.93MB 로 줄였습니다. 이는 기존 모델들보다 훨씬 작고 빠르면서 정확도까지 높인 결과입니다. 이는 모바일 기기나 임베디드 시스템에서도 실시간 수화 인식이 가능하다는 것을 의미합니다.
데이터 및 플랫폼 확장: 연구팀은 중국어 수화 데이터셋을 새롭게 구축하고 특화된 어휘를 개발하여 모델의 성능 향상에 기여했습니다. 또한, 랜드마크 데이터 증강 기법에 대한 연구를 진행하여 다양한 증강 방법론을 비교 분석하고, Intel 플랫폼 CPU에서의 모델 배포 및 예측 실험을 통해 다른 플랫폼으로의 확장 가능성을 검증했습니다.
결론: KD-MSLRT는 단순한 기술적 진보를 넘어, 청각 장애인들의 소통과 사회 참여를 위한 획기적인 도약을 의미합니다. 소형화, 고속화, 고정확도를 동시에 달성한 이 모델은 AI 기술이 사회적 포용성 증진에 어떻게 기여할 수 있는지 보여주는 훌륭한 사례입니다. 앞으로 더욱 다양한 언어와 플랫폼으로의 확장을 통해 더 많은 사람들에게 혜택을 제공할 것으로 기대됩니다.
Reference
[arxiv] KD-MSLRT: Lightweight Sign Language Recognition Model Based on Mediapipe and 3D to 1D Knowledge Distillation
Published: (Updated: )
Author: Yulong Li, Bolin Ren, Ke Hu, Changyuan Liu, Zhengyong Jiang, Kang Dang, Jionglong Su
http://arxiv.org/abs/2501.02321v3