팡 지추안, 왕 샤오웬, 리 지안 등 연구진은 압축 이론을 이용하여 거대 언어 모델(LLM)의 작동 원리를 새롭게 해석하는 연구를 발표했습니다. 콜모고로프 복잡도와 섀넌 정보 이론을 기반으로 LLM의 정보 획득 과정을 분석하고, Syntax-Knowledge 모델을 통해 스케일링 법칙, 지식 획득 역학, 환각 현상을 설명했습니다. 이론적 예측은 실험적으로 검증되어 높은 신뢰도를 보였습니다.

소형 LLM을 이용한 게임 내 플레이어 응답 평가 연구 결과, 모델별 성능 차이와 맥락 인식 평가 프레임워크의 중요성이 강조되었습니다. AI 기반 평가 도구의 신뢰성 확보를 위한 심도있는 논의가 필요함을 시사합니다.

80개 이상의 LLM과 37개의 벤치마크를 사용한 메타 연구 결과, 매개변수 규모가 작은 LLM은 특정 능력에서 인간의 능력 측정 지표로 설명 가능하지만, 인간과 달리 능력 간 상관관계가 낮고, 모델 크기에 따라 성능 차이가 큼을 확인했습니다.

Li Xiangju 등 연구진의 논문은 지시어 튜닝과 데이터 증강을 활용한 대규모 언어 모델 기반 프레임워크를 통해 텍스트에서 감정, 원인, 범주를 구간 단위로 추출하는 혁신적인 방법을 제시합니다. 기존 방식 대비 최소 12.8% 이상의 성능 향상을 보이며 감정 원인 분석 분야의 발전에 크게 기여할 것으로 기대됩니다.

HM-RAG는 계층적 다중 에이전트 구조를 통해 다양한 데이터 소스를 통합하여 복잡한 질문에 대한 답변 정확도를 크게 향상시킨 혁신적인 멀티모달 RAG 모델입니다. ScienceQA 및 CrisisMMD 벤치마크에서 최첨단 성능을 달성하였으며, 모듈형 아키텍처를 통해 새로운 데이터 모달의 통합이 용이합니다.