듣고, 보고, 다시 생성하다: AVSR의 혁신적인 오류 수정 기술, AVGER


류루이, 원홍위, 리하이저우 연구팀이 개발한 AVGER(Audio-Visual Generative Error Correction) 모델은 음성과 영상 신호를 동시에 활용하여 AVSR(Audio-Visual Speech Recognition)의 오류 수정 정확도를 획기적으로 향상시켰습니다. LRS3 데이터셋 실험 결과, 기존 시스템 대비 WER(Word Error Rate)을 24% 감소시켰으며, 다중 수준의 일관성 제약 조건을 활용한 훈련 기법으로 모델의 해석력까지 높였습니다.

related iamge

최근 음성 인식 기술의 발전은 눈부시지만, 여전히 완벽하지 않습니다. 특히 소음이 많은 환경이나 발음이 부정확한 경우, 정확한 음성 인식은 어려운 과제입니다. 이러한 한계를 극복하기 위해 등장한 것이 바로 음성과 영상 신호를 동시에 활용하는 AVSR(Audio-Visual Speech Recognition) 입니다. 하지만 AVSR 역시 완벽하지 않으며, 여전히 오류 수정이 필요합니다.

류루이(Rui Liu), 원홍위(Hongyu Yuan), 리하이저우(Haizhou Li) 연구팀은 이러한 문제에 대한 획기적인 해결책을 제시했습니다. 바로 AVGER(Audio-Visual Generative Error Correction) 입니다. 기존의 ASR(Automatic Speech Recognition)에서 LLM(Large Language Model)을 활용한 오류 수정 기법은 음성 정보만을 활용했지만, AVGER는 **'듣고, 보고, 다시 생성한다'**는 독창적인 접근 방식을 통해 음성과 영상 정보를 동시에 활용합니다.

AVGER의 작동 원리: 두 번의 '읽기'와 LLM의 '판단'

  1. 첫 번째 '읽기': 강력한 AVSR 시스템이 음성과 영상 신호를 분석하여 여러 개의 후보 텍스트(N-Best hypotheses)를 생성합니다.
  2. 두 번째 '읽기': Q-former 기반의 다중 모달 동기식 인코더(Multimodal Synchronous Encoder)가 음성과 영상 정보를 다시 '읽습니다'. 이 과정에서 음성과 영상 정보는 LLM이 이해할 수 있는 압축된 표현(audio and video compression representation)으로 변환됩니다.
  3. LLM의 '판단': 압축된 음성 및 영상 표현과 N-Best hypotheses는 교차 모달 프롬프트(Cross-modal Prompt)를 구성하고, LLM은 이를 바탕으로 최적의 텍스트를 생성합니다.

여기서 핵심은 다중 수준의 일관성 제약 조건(Multi-Level Consistency Constraint) 입니다. 이 제약 조건은 로그릿 수준, 발화 수준, 표현 수준에서 일관성을 유지하도록 훈련하여 오류 수정 정확도를 향상시키고, 동시에 음성 및 영상 압축 표현의 해석력을 높입니다.

놀라운 결과: 24% WER 감소

LRS3 데이터셋에서 실험한 결과, AVGER는 기존 최첨단 AVSR 시스템보다 Word Error Rate(WER)을 24% 감소시키는 놀라운 성과를 달성했습니다. 이는 AVGER가 AVSR의 정확도를 크게 향상시킬 수 있음을 보여줍니다. 더 자세한 내용과 코드는 GitHub에서 확인할 수 있습니다.

AVGER의 등장은 단순히 오류 수정 기술의 발전을 넘어, 보다 정확하고 효율적인 음성 인식 시스템 구축을 위한 중요한 이정표가 될 것입니다. 앞으로 AVGER가 다양한 분야에서 활용될 가능성은 무궁무진하며, 인공지능 기술 발전에 크게 기여할 것으로 기대됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Listening and Seeing Again: Generative Error Correction for Audio-Visual Speech Recognition

Published:  (Updated: )

Author: Rui Liu, Hongyu Yuan, Haizhou Li

http://arxiv.org/abs/2501.04038v1