김범준, 김강연, 김선우, 안희진 연구팀이 도메인에 구애받지 않고 확장 가능한 AI 안전 보장 프레임워크를 개발했습니다. 이 프레임워크는 다양한 도메인에서 사용자 정의 제약 조건을 만족하는 AI 시스템을 구축하고, 내부 테스트 데이터를 활용한 신뢰성 평가 방법을 제시합니다. 실험 결과, 기존 방법보다 우수한 성능과 확장성을 입증했습니다.

Tyler McDonald과 Ali Emami가 개발한 Trace-of-Thought 프롬프팅은 문제 분해를 통해 저자원 모델의 성능을 향상시키는 혁신적인 지식 증류 방법입니다. GSM8K 및 MATH 데이터셋에서의 실험 결과는 그 효과를 명확히 보여주며, AI 기술의 민주화에 기여할 것으로 기대됩니다.

Ascendra는 TTFT와 TBT SLO를 동시에 충족하는 동적 요청 우선순위 지정 시스템으로, GPU 리소스를 저/고우선순위 인스턴스로 분할하여 처리량과 지연 시간을 효과적으로 균형을 이룹니다. 기존 시스템 대비 최대 1.7배 향상된 처리량을 기록하며, LLM 서빙 효율성에 새로운 기준을 제시합니다.

본 논문은 기존의 기댓값 최대화 방식을 넘어 선호도 지표(PM)를 도입한 새로운 다중 무장 밴딧 알고리즘을 제시합니다. 최적의 혼합 정책을 효율적으로 학습하고 추적하는 알고리즘을 제안하며, 다양한 PM 형태에 대한 후회(regret) 보장을 분석함으로써 더욱 현실적이고 정교한 의사결정 시스템 설계의 가능성을 열었습니다.

본 기사는 LLM 기반 장애 원인 분석 시스템 TAMO에 대해 소개합니다. TAMO는 다중 모달 관측 데이터를 활용하여 기존 LLM의 한계를 극복하고, 실시간으로 변화하는 서비스 의존성과 원시 관측 데이터를 효과적으로 처리하며, 정확하고 효율적인 장애 원인 분석을 가능하게 합니다.