중국과학원 연구진이 대규모 언어 모델(LLM)의 하이퍼파라미터 최적화를 위한 보편적인 스케일링 법칙을 발견했습니다. 100만 GPU 시간과 100조 토큰을 사용한 대규모 실험을 통해 얻은 이 법칙은 모델 크기와 데이터 양에 따른 최적 학습률과 배치 크기를 예측하는 도구를 개발하는 데 사용되었으며, 실제 최적 성능과 0.07%의 오차만을 보이는 놀라운 정확도를 자랑합니다.

Anuj Diwan 등 연구진이 개발한 ParaSpeechCaps는 59가지 스타일 태그를 포함하는 대규모 스타일 제어 TTS 데이터셋으로, 자동화된 주석 방식을 통해 풍부한 스타일 정보를 효율적으로 구축했습니다. Parler-TTS 모델과의 결합을 통해 스타일 일관성과 음성 품질을 크게 향상시켰으며, GitHub를 통해 공개되어 AI 음성합성 기술 발전에 기여할 것으로 예상됩니다.

Lucas Block Medin, Thomas Pellegrini, Lucile Gelin 연구팀은 자기 지도 학습 모델을 활용하여 아동 언어 인식 분야의 난제를 극복하고, WavLM base+ 모델의 우수성을 입증했습니다. 실제 응용 환경에서의 강건성까지 검증하며, 아동 언어 학습 및 관련 기술 발전에 크게 기여할 것으로 기대됩니다.

본 연구는 모델 아키텍처 및 크기에 관계없이 적용 가능한 혁신적인 층별 엔트로피 가중 양자화(EWQ) 기법을 제시합니다. EWQ는 메모리 사용량 감소 및 성능 향상을 동시에 달성하며, FastEWQ를 통해 빠른 엔트로피 분석도 가능하게 합니다. 이는 대규모 언어 모델의 효율적인 배포에 새로운 가능성을 제시합니다.

카네기 멜론 대학교 연구팀이 개발한 새로운 AI 언어 모델 L1은 강화학습 기반의 LCPO 알고리즘을 통해 추론 길이를 제어하고, 정확도와 효율성을 극대화합니다. L1은 기존 최고 성능 모델을 능가하며, 짧은 추론 길이에서도 놀라운 성능을 보여줍니다.