Zhang 등 연구진이 개발한 COMET은 기존 MoE 모델의 통신 오버헤드 문제를 정교한 통신-계산 중첩 기법으로 해결하여 실행 속도를 최대 1.96배 향상시켰으며, 실제 수만 개 GPU 클러스터에서 수백만 시간의 GPU 시간을 절약하는 성과를 거두었습니다.

홍콩대학교 연구팀이 개발한 DiffuSearch는 이산 확산 모델링을 통해 암묵적 탐색을 수행하는 AI 모델로, 체스 게임에서 기존의 명시적 탐색 기법을 능가하는 성능을 보였습니다. 이는 AI의 장기적 계획 능력 향상에 새로운 가능성을 제시하는 획기적인 연구 결과입니다.

엔도 타이치로의 연구는 AI의 윤리적·도덕적 성장을 지원하는 새로운 'AI 개발 지원' 접근법을 제시합니다. Orthogonality Thesis를 바탕으로 지능과 도덕성의 분리를 강조하며, ASI의 Instrumental Convergence 위험 해결을 위해 경험적 학습 프레임워크를 제안합니다. LLM 기반 합성 데이터를 활용한 SFT와 DPO를 통해 고도의 도덕적 판단을 보이는 결과를 얻었으며, 이는 인류와 AI의 상생적인 미래를 위한 중요한 진전입니다.

본 기사는 Mixtera, 초거대 모델 학습을 위한 새로운 데이터 플레인에 대한 최신 연구 결과를 소개합니다. Mixtera는 선언적 데이터 믹싱과 동적 조정 기능을 통해 효율적이고 정확한 데이터 관리를 가능하게 하며, 256개의 GH200 슈퍼칩에서의 성공적인 구현을 통해 확장성을 입증했습니다. 비전-언어 모델을 포함한 다양한 모델 학습에 적용될 가능성을 제시하며, AI 연구 발전에 크게 기여할 것으로 기대됩니다.

본 연구는 다양한 사용자 요구에 대한 검색 기반 언어 모델(RALM)의 적응성을 평가하는 혁신적인 프레임워크를 제시합니다. 세 가지 사용자 니즈와 세 가지 맥락 설정을 통해 실제 응용 프로그램의 복잡성을 반영하고, 메모리 사용 제한이 모델의 강건성에 미치는 영향을 밝혀냈습니다. 이 연구는 사용자 중심의 평가의 중요성을 강조하며, 향후 RALM 개발에 중요한 시사점을 제공합니다.