related iamge

혼합 전문가(MoE)의 중복 활용을 통한 다중 모달 생성 능력 향상

본 연구는 기존의 거대 언어 모델(LLM)의 성능 저하 없이 다중 모달 생성 능력을 추가하는 효율적인 방법을 제시합니다. 혼합 전문가(MoE)의 매개변수 중복을 활용하고, Gromov-Wasserstein 거리 기반의 새로운 초기화 기법을 도입하여 다중 모달 생성 능력을 효과적으로 향상시켰습니다. 이 연구는 다양한 분야에서 더욱 강력하고 효율적인 다중 모달 AI 모델 개발을 가속화할 것으로 기대됩니다.

related iamge

Reasoning-SQL: 강화학습으로 Text-to-SQL의 추론 능력 극대화

본 연구는 Text-to-SQL 과제에서 강화 학습과 부분 보상 기법을 사용하여 LLM의 추론 능력을 향상시키는 새로운 방법을 제시합니다. 실험 결과, 제안된 방법은 기존 지도 학습 방식보다 높은 정확도와 일반화 성능을 달성했으며, 더 작은 모델에서도 더 큰 상용 모델을 능가하는 성능을 보였습니다.

related iamge

HRET: 한국어 LLM을 위한 자가 진화형 평가 도구 등장!

이화여대 연구팀이 개발한 HRET은 한국어 LLM 평가의 표준화 및 지속적 발전을 위한 자가 진화형 평가 도구입니다. 다양한 평가 방법과 벤치마크, 추론 백엔드를 통합하고 자동화된 파이프라인을 통해 재현 가능하고 공정한 연구 환경을 제공합니다.

related iamge

머신 언러닝 시대의 데이터 구매: 사용자 중심 경매 메커니즘 등장!

본 기사는 AI 서비스 제공업체의 데이터 삭제 문제와 사용자 주도의 데이터 구매 경매 메커니즘에 대한 연구를 소개합니다. 개인정보보호 규정 준수와 AI 모델의 정확도 유지를 동시에 달성하기 위한 혁신적인 해결책으로, 사용자의 데이터 주권과 사회적 후생을 모두 고려하는 새로운 데이터 경제 모델을 제시합니다.

related iamge

개인정보 보호 딥러닝의 혁명: DC-SGD 알고리즘의 등장

Wei Chengkun 등 연구진이 개발한 DC-SGD 알고리즘은 기존 DP-SGD의 한계를 극복하여 하이퍼파라미터 튜닝 속도를 최대 9배 향상시키고, CIFAR-10에서 10.62%의 정확도 향상을 달성했습니다. 엄격한 이론적 분석과 Adam Optimizer와의 호환성으로 실용성을 입증한 DC-SGD는 개인정보 보호 딥러닝 분야의 혁신적인 발전입니다.