MIT 한 연구팀이 개발한 LServe는 하이브리드 스파스 어텐션과 계층적 KV 페이지 선택 정책을 통해 장문 LLM 서빙의 속도와 메모리 효율을 획기적으로 향상시킨 시스템입니다. Prefilling 속도는 최대 2.9배, Decoding 속도는 1.3~2.1배 향상되었으며, 장문 컨텍스트의 정확성은 그대로 유지됩니다.

본 기사는 텍스트 임베딩의 해석 가능성 향상에 대한 최신 연구 동향을 소개합니다. Juri Opitz 등의 연구진이 발표한 논문을 중심으로, AI 시스템의 신뢰도와 투명성 확보를 위한 해석 가능성 방법들의 중요성과 향후 연구 방향을 제시합니다.

FR-Spec은 빈도 기반 어휘 공간 압축을 통해 대규모 언어 모델의 속도를 1.12배 향상시킨 혁신적인 추측적 샘플링 기법입니다. LM Head 연산량을 75% 감소시키면서도 최종 출력 분포의 동일성을 유지하여, LLM의 실시간 응답 및 처리 속도 향상에 크게 기여할 것으로 기대됩니다.

본 기사는 대규모 언어 모델의 지식 편집 과정에서 발생하는 '과도한 주의(Over-Attention)' 문제를 해결하기 위한 새로운 방법, SADR에 대한 연구 결과를 소개합니다. 연구팀은 '주의력 이동 현상'이라는 새로운 개념을 제시하고, 이를 완화하는 SADR 기법의 효과성을 다섯 가지 주요 LLM 모델을 통해 검증했습니다. 이는 더욱 안전하고 신뢰할 수 있는 AI 시스템 개발에 기여할 것으로 기대됩니다.

DeepSeek 연구진이 개발한 MLA(Multi-Head Latent Attention) 아키텍처와 MHA2MLA fine-tuning 방법은 LLM의 추론 효율을 획기적으로 높였습니다. partial-RoPE와 joint SVD 기법을 통해 KV 캐시 크기를 최대 92.19%까지 줄이면서도 성능 저하를 최소화하여 경제적인 AI 추론을 가능하게 합니다.