혁신적인 저비트레이트 음성 코덱, FocalCodec 등장!

FocalCodec은 단일 이진 코드북을 사용하는 저비트레이트 음성 코덱으로, 기존 기술의 한계를 극복하고 다국어 및 잡음 환경에서도 우수한 성능을 제공합니다. 음성 재합성, 음성 변환, 생성 모델링 등 다양한 분야에 활용될 것으로 기대됩니다.

꿈꿔왔던 초저비트레이트 시대의 서막, FocalCodec

최근 몇 년간, 대규모 언어 모델(LLM)의 발전은 자연어 처리 분야에 혁명을 일으켰습니다. 이러한 성공에 고무되어 연구자들은 신경망 오디오 코덱을 이용하여 연속적인 오디오를 토큰으로 변환하는 방법을 통해 음성 처리 분야에도 LLM의 성공을 확장하고자 노력했습니다. 하지만 기존의 방법들은 높은 비트레이트, 의미 정보 또는 음향 정보의 손실, 그리고 두 가지 정보를 모두 포착하기 위한 다중 코드북 설계의 복잡성 등의 한계에 직면해 있었습니다.

그 한계를 뛰어넘는 혁신, 바로 FocalCodec입니다!

Luca Della Libera, Francesco Paissan, Cem Subakan, Mirco Ravanelli 등이 개발한 FocalCodec은 초점 변조(focal modulation)를 기반으로 한 효율적인 저비트레이트 코덱입니다. 단 하나의 이진 코드북만을 사용하여 0.16~0.65kbps의 낮은 비트레이트로 음성을 압축합니다. 이는 기존 최첨단 기술보다 훨씬 낮은 비트레이트에서 경쟁력 있는 음성 재합성 및 음성 변환 성능을 제공한다는 것을 의미합니다.

FocalCodec의 놀라운 점은 단순히 비트레이트만 낮춘 것이 아니라는 점입니다. 다국어 음성과 잡음이 많은 환경에서도 효과적으로 작동하며, 하위 작업 평가를 통해 의미 및 음향 정보를 충분히 보존함을 확인했습니다. 더 나아가 생성 모델링에도 적합하다는 사실이 밝혀졌습니다.

FocalCodec의 핵심 장점:

• 초저비트레이트: 0.16~0.65kbps의 낮은 비트레이트 달성
• 단일 이진 코드북: 구조의 단순화 및 효율성 증대
• 다국어 및 잡음 환경 지원: 뛰어난 견고성과 실용성
• 생성 모델링 적합성: 다양한 응용 분야 확장 가능성

FocalCodec 데모, 코드 및 체크포인트는 https://lucadellalib.github.io/focalcodec-web/ 에서 확인할 수 있습니다.

FocalCodec은 저비트레이트 음성 처리 분야에 새로운 지평을 열었습니다. 이 기술은 앞으로 음성 인식, 음성 합성, 음성 변환 등 다양한 분야에서 혁신적인 발전을 가져올 것으로 기대됩니다. 특히 저대역폭 환경에서의 음성 통신이나 휴대용 기기에서의 음성 처리에 큰 영향을 미칠 것으로 예상됩니다. 이제 저비트레이트 시대의 꿈이 현실로 다가왔습니다.