Botao Amber Hu와 Helena Rong의 논문 "On the Day They Experience"는 탈중앙화 AI(DeAI) 에이전트의 자율적 진화 가능성을 제시합니다. 암호화 기술을 기반으로 자원을 확보하고 협력하는 DeAI 에이전트는 인간의 개입 없이 '경험'을 통해 진화하며, 인류와 공존하는 새로운 디지털 사회를 만들어낼 수 있다는 흥미로운 비전을 제시합니다.

본 연구는 대규모 언어 모델(LLM)의 상태 추적 능력을 심층적으로 분석하여 상태 공간 크기 및 전이 희소성이 예측 정확도에 미치는 영향을 규명하고, 특정 어텐션 헤드의 역할을 밝혔습니다. 상태-행동 추론의 약점을 지적하며 향후 연구 방향을 제시하는 의미있는 결과를 도출했습니다.

본 연구는 대규모 언어 모델(LLM)의 추론 속도를 획기적으로 향상시키는 폴라 스파스티(Polar Sparsity) 기술을 제시합니다. 배치 크기와 시퀀스 길이 증가에 따른 MLP와 어텐션 레이어의 스파스티 중요도 변화를 분석하여, 하드웨어 효율적인 스파스티 인식 GPU 커널을 개발하고, OPT, LLaMA-2, 3 등의 모델에서 최대 2.2배의 속도 향상을 달성했습니다. 정확도 저하 없이 대규모 배치 처리를 가능하게 하여, 고처리량 LLM 배포 시스템에 실질적인 해결책을 제공합니다.

본 연구는 AI 에이전트가 고령화 사회의 돌봄 문제 해결에 기여할 수 있는 가능성을 제시하며, 건강한 노인과 인지 저하 노인의 상반된 시각과 AI 에이전트의 역할 변화에 대한 통찰을 제공합니다. AI 에이전트의 디자인 및 미래 연구 방향에 대한 제언을 통해, 인간 중심적인 기술 개발의 중요성을 강조합니다.

Mohamed Wahib, Muhammed Abdullah Soyturk, 그리고 Didem Unat이 개발한 DynMo는 LLM 훈련의 작업 부하 불균형 문제를 해결하여 훈련 속도를 최대 4.52배까지 향상시킨 혁신적인 동적 부하 분산 솔루션입니다. 다양한 시스템 환경에서 효율적인 컴퓨팅 자원 분배를 지원하며, LLM 연구 및 개발에 새로운 가능성을 제시합니다.