Xu Wang 등 6명의 연구자는 회로 분석을 이용하여 LLM 파인튜닝 메커니즘을 심층적으로 분석한 연구 결과를 발표했습니다. 기존 연구와 달리 파인튜닝으로 성능 향상이 큰 수학적 과제에 집중하여 회로 기반 LoRA 알고리즘을 개발, 평균 2.46%의 성능 향상을 달성했습니다. 서브태스크 회로 결합을 통한 복합 과제 파인튜닝 향상 연구도 진행하여 LLM 이해와 AI 발전에 기여했습니다.

Yanbiao Ma 등의 연구는 인간 시각 시스템의 계층적 처리에서 영감을 얻어 DNN의 편향 형성 메커니즘을 기하학적으로 분석하는 새로운 프레임워크를 제시합니다. 클래스별 지각 다양체의 기하학적 복잡성 차이가 편향의 원인임을 밝히고, 이를 분석하는 Perceptual-Manifold-Geometry 라이브러리를 개발했습니다. 이 연구는 DNN의 투명성과 신뢰성을 향상시키는 데 중요한 기여를 할 것으로 기대됩니다.

Peiying Yu, Guoxin Chen, Jingjing Wang이 개발한 Table-Critic은 LLM의 테이블 추론 한계를 극복하기 위해 협업적 비판과 반복적 개선을 도입한 다중 에이전트 프레임워크입니다. 자가 진화하는 템플릿 트리를 통해 다양한 오류 유형에 대한 효과적인 대처가 가능하며, 실험 결과 기존 방법보다 우수한 정확도와 효율성을 보였습니다.

Siddiqui Muhammad Yasir과 Ahn Hyunsik 연구팀이 개발한 새로운 깊이 추정 프레임워크는 잠재 공간 특징과 이중 인코더-디코더 아키텍처, 그리고 혁신적인 손실 함수를 통해 단일 RGB 카메라를 사용하여 높은 정확도의 깊이 맵을 생성합니다. NYU Depth V2 데이터셋에서 우수한 성능을 입증하여 인간-로봇 상호작용 및 3D 장면 재구성 분야에 큰 기여를 할 것으로 기대됩니다.

본 연구는 LLM의 자기 검증 능력 부족에 대한 메커니즘 분석을 통해, LLM이 수학적 오류를 검출하는 데 어려움을 겪는 원인을 밝혔습니다. 4개의 소형 LLM에 대한 회로 분석 결과, 모델들은 표면적 일관성에 의존하며, 계산과 검증 과정이 공간적으로 분리되어 있음을 확인했습니다. 이러한 구조적 한계를 극복하는 방안이 향후 LLM의 발전에 중요한 과제로 제시됩니다.