중국과학원 자동화연구소 연구팀이 개발한 DataMan은 LLM 사전 훈련 데이터의 품질을 평가하고, 최적의 데이터를 선택하는 시스템입니다. 퍼플렉서티 분석을 통해 도출된 14가지 품질 기준과 15개 도메인을 활용하여 4470억 토큰 데이터셋을 분석하고, 300억 토큰으로 13억 매개변수 모델을 훈련한 결과, 기존 최고 성능 모델을 뛰어넘는 성능 향상을 달성했습니다.

최첨단 AI 모델에서도 Chain-of-Thought(CoT) 추론의 비신뢰성이 발견되었다는 연구 결과가 발표되었습니다. 이는 AI의 암묵적 편향, 오류 수정, 비논리적 지름길 사용 등 다양한 형태로 나타나며, AI 안전성 연구에 대한 심각한 시사점을 제공합니다.

InftyThink는 대규모 언어 모델의 장문 추론에서 계산 비용을 줄이면서 성능을 향상시키는 혁신적인 방법론입니다. 반복적인 추론과 중간 요약을 통해 맥락 길이 제한을 극복하고, 다양한 벤치마크에서 성능 향상을 입증했습니다.

본 기사는 Noah Mamie와 Susie Xi Rao의 논문 '하이브마인드 사회'를 바탕으로 다중 에이전트 시스템을 활용한 AI 기반 모델의 집단 지능 향상에 대한 연구 결과를 소개합니다. 집중적인 논리적 추론이 필요한 작업에서 뛰어난 성능 향상을 보였지만, 실제 세계 지식 기반 작업에서는 효과가 제한적이라는 점을 함께 제시하며, 향후 연구의 방향을 제시합니다.

Luo Jie와 Chen Xueyin 연구팀의 연구는 효율적인 역전파 알고리즘을 통해 하이브리드 심층 양자 신경망(hDQNN)의 확장성을 확보하고, 강화 학습에서 기존 모델보다 우수한 일반화 성능을 달성했습니다. 이는 NISQ 컴퓨터 시대에도 양자 컴퓨팅 기반 대규모 머신러닝의 가능성을 보여주는 획기적인 결과입니다.