Knowledge-Instruct는 제한된 데이터를 사용하여 지식을 효율적으로 주입하는 새로운 지속적 사전 훈련 방법입니다. 합성 지시 데이터를 통해 새로운 지식을 효과적으로 통합하고 기존 지식의 망각을 최소화하며, 다양한 벤치마크에서 우수한 성능을 보였습니다.

본 연구는 대규모 언어 모델(LLM)을 이용하여 실제 환자와 유사한 상호작용을 시뮬레이션하는 가상 환자 시스템을 개발하고, 이를 통해 의료 커뮤니케이션 교육의 질적 향상을 도모하는 연구입니다. 다양한 환자 유형과 문화적 배경을 고려한 시스템 설계 및 높은 평가 결과를 통해 AI 기반 의료 교육의 가능성을 제시합니다.

Salesforce 연구팀이 개발한 APIGen-MT는 시뮬레이션 기반 멀티턴 데이터 생성을 통해 고품질의 AI 에이전트 훈련 데이터를 생성하고, 기존 모델을 능가하는 xLAM-2-fc-r 모델을 개발했습니다. 생성된 데이터와 모델은 오픈소스로 공개되어 AI 에이전트 연구 발전에 기여할 것으로 기대됩니다.

최첨단 LLM의 초등 수학 문제 해결 능력 저하를 분석한 연구 결과, LLM이 문제를 진정으로 이해하지 못하고 훈련 데이터를 암기하는 '암송' 행위에 의존하고 있음을 밝혔습니다. 이는 LLM의 지능 수준에 대한 재평가와 진정한 이해와 추론 능력을 갖춘 AI 개발의 필요성을 강조하는 중요한 발견입니다.

Cheng 등의 연구진은 차별적 증류 기법을 활용한 ViLaMP 모델을 개발하여 10,000 프레임 이상의 장시간 비디오를 효율적으로 처리하는 혁신적인 성과를 달성했습니다. 이 연구는 계산 효율성과 성능 향상을 동시에 달성하여 비디오 이해 분야의 새로운 가능성을 제시합니다.