딥러닝으로 음성과 텍스트의 벽을 허물다: 개방형 어휘 키워드 발견의 새로운 지평

정영문 등 연구팀은 모달리티 적대적 학습(MAL)을 활용한 적대적 딥 메트릭 러닝 기반의 개방형 어휘 키워드 발견(KWS) 기술을 개발했습니다. 음성과 텍스트의 이질성을 해소하여 정확도를 높였으며, WSJ 및 LibriPhrase 데이터셋 실험을 통해 효과를 검증했습니다.

정영문, 이용혁, 정명훈, 노재영, 한창우, 조훈영 연구팀이 '모달리티 적대적 학습(MAL)을 활용한 적대적 딥 메트릭 러닝' 기반의 혁신적인 개방형 어휘 키워드 발견(KWS) 기술을 선보였습니다. 이 연구는 음성과 텍스트라는 서로 다른 모달리티 간의 차이를 극복하는 데 초점을 맞추고 있습니다.

기존의 텍스트 기반 개방형 어휘 키워드 발견은 음향 및 텍스트 임베딩을 음소 또는 발화 단위에서 비교하는 방식을 사용해 왔습니다. 하지만 음성과 텍스트는 본질적으로 매우 다른 특성을 지니고 있어, 이러한 비교 과정에서 정확도 저하가 발생하는 문제가 있었습니다.

연구팀은 이 문제를 해결하기 위해 딥 메트릭 러닝(DML)을 기반으로 한 새로운 접근 방식을 제시했습니다. 핵심은 바로 모달리티 적대적 학습(MAL) 입니다. MAL은 음성과 텍스트 인코더가 모달리티에 독립적인 임베딩을 생성하도록 학습하는 과정으로, 음성과 텍스트의 이질성을 줄이는 데 효과적입니다. 마치 두 개의 언어를 번역하는 과정에서 중간 언어를 사용하는 것과 유사하게, MAL은 음성과 텍스트를 공통된 임베딩 공간으로 매핑하여 비교를 가능하게 합니다.

연구팀은 다양한 DML 목표 함수를 비교 분석하여 최적의 성능을 도출하였습니다. 특히, 음소 수준에서의 정확한 정렬을 위해 DML을 적용함으로써 기존 방식보다 훨씬 향상된 성능을 달성했습니다. Wall Street Journal (WSJ) 및 LibriPhrase 데이터셋을 사용한 실험 결과는 제안된 방법의 효과를 명확하게 보여주고 있습니다.

이 연구는 단순히 기술적인 발전을 넘어, 음성 인식, 기계 번역 등 다양한 분야에 광범위한 영향을 미칠 것으로 예상됩니다. 개방형 어휘 키워드 발견 기술의 발전은 인공지능 기반 서비스의 정확성과 효율성을 한층 높이는 데 크게 기여할 것입니다. 앞으로도 이러한 혁신적인 연구를 통해 AI 기술이 더욱 발전하고 우리 삶에 유용하게 활용될 수 있기를 기대합니다.