거대 언어 모델(LLM)의 추론 능력은 토큰화 방식에 크게 의존하며, 적절한 토큰화는 작은 모델의 성능을 향상시키고 큰 모델의 한계를 극복하는 데 중요한 역할을 합니다.

왕허 등 연구진이 개발한 DSMentor는 커리큘럼 학습과 온라인 지식 축적을 통해 LLM 에이전트의 데이터 과학 문제 해결 능력을 향상시키는 혁신적인 프레임워크입니다. DSEval 및 QRData 벤치마크 실험 결과, 기존 에이전트 대비 성능 향상을 확인했으며, 인간의 학습 과정을 모방한 새로운 접근 방식으로 LLM의 발전에 기여할 것으로 기대됩니다.

태국 쭐라롱꼰 대학교 연구진이 강화 학습 미세 조정(RFT)에서 사전 프롬프트 엔지니어링(pPE)의 효과를 입증한 연구 결과를 발표했습니다. 다양한 pPE 전략을 실험한 결과, 모든 pPE 기반 모델이 iPE 기반 모델보다 우수한 성능을 보였으며, null-example pPE가 가장 큰 성능 향상을 가져왔습니다. 이는 pPE가 RFT의 중요한 요소임을 시사하며, 향후 AI 발전에 크게 기여할 것으로 기대됩니다.

Songhao Wu 등의 연구팀은 세션 검색의 효율성을 높이기 위해 LLMs와 그래프 구조를 결합한 Symbolic Graph Ranker (SGR)를 제안했습니다. 자기 지도 학습을 통해 LLM의 그래프 구조 이해 능력을 향상시키고, 실험 결과를 통해 SGR의 우수성을 확인했습니다. 이 연구는 기존 검색 전략과 LLMs를 연결하는 새로운 패러다임을 제시합니다.

홍콩과기대 연구진이 개발한 MM-Agent는 LLM을 활용하여 실제 수학 모델링 문제를 해결하는 시스템으로, MCM/ICM 2025에서 우수한 성적을 거두며 실용성을 입증했습니다. 문제 분석부터 해결, 보고서 작성까지 전 과정을 자동화하여 기존 방식보다 11.88% 향상된 성능을 보였습니다.