허재무, 엘도르 포질로브, 송현민, 김태환 연구팀이 개발한 RingFormer는 기존 트랜스포머 모델의 한계를 극복한 혁신적인 모델입니다. 순환 구조와 적응형 레벨 신호를 활용하여 매개변수 크기를 줄이면서 높은 성능을 유지하는 RingFormer는 번역 및 이미지 분류 등 다양한 작업에서 우수한 결과를 보였으며, 향후 AI 모델 개발의 새로운 패러다임을 제시할 것으로 기대됩니다.

본 기사는 홍후 왕 등 연구진의 논문 "Uncertain Multi-Objective Recommendation via Orthogonal Meta-Learning Enhanced Bayesian Optimization"을 바탕으로, 불확실성을 고려한 다중 목표 추천 시스템의 최신 연구 동향을 소개합니다. 자율 주행의 5단계 자율성 모델을 접목한 새로운 프레임워크와 베이지안 최적화 및 직교 메타 러닝을 결합한 혁신적인 접근 방식을 통해, 더욱 윤리적이고 사용자 중심적인 추천 시스템의 구현 가능성을 제시합니다.

자오 지아치 등 8명의 연구원이 개발한 PTQ1.61은 1.61비트의 초저비트 양자화를 달성하여 대규모 언어 모델의 성능 저하 없이 에너지 효율 및 확장성을 크게 향상시켰습니다. 양자화 전처리라는 새로운 패러다임을 제시하고, 1차원 구조화 마스크와 블록 단위 스케일링 최적화를 통해 효율성을 극대화했습니다.

Zhao Jiaqi 등 연구진이 발표한 LLM Post-training Quantization (PTQ) 벤치마킹 연구는 PTQ 전략의 종합적인 분류, 광범위한 실험, 그리고 실용적인 권고안을 제시하여 초거대 언어 모델의 효율적인 배포에 중요한 기여를 할 것으로 기대됩니다. 특히 보정 기반 PTQ 전략의 우수성과 다양한 전략의 조합을 통한 최고 성능 달성 가능성이 주목할 만합니다.

서울대 연구팀이 개발한 ε-DPO 알고리즘은 기존 직접 선호도 최적화(DPO)의 한계를 극복하고, 챗봇 훈련 효율성을 높였습니다. 각 선호도 쌍에 대한 적응적 KL 페널티 조절을 통해 기존 알고리즘 대비 성능 향상을 보였으며, 더욱 자연스럽고 인간 친화적인 AI 챗봇 개발의 가능성을 열었습니다.