Lang Xu 등 연구진은 Frontier 슈퍼컴퓨터의 하드웨어 특성을 고려한 3단계 계층적 분할 전략을 제시하여, ZeRO++ 알고리즘을 개선하고 초거대 언어 모델(LLM) 훈련의 효율성을 크게 향상시켰습니다. 20B GPT 모델 훈련에서 GPU당 TFLOPS가 1.71배 증가하고, 384개의 GCD까지 0.94의 확장 효율을 달성했습니다.

Manish Sanwal의 연구는 기존 사고 과정 프롬프팅(CoT)의 한계를 극복하기 위한 다층적 사고 과정 프롬프팅(Layered-CoT)을 제시합니다. Layered-CoT는 추론 과정을 계층적으로 분할하고 외부 검증 및 사용자 피드백을 통합하여 의료, 금융, 엔지니어링 등 다양한 분야에서 신뢰성과 정확성을 향상시킵니다.

최근 연구에서 발견된 '프롬프트 내 작업(TIP)' 공격은 거대 언어 모델(LLM)의 안전성에 대한 심각한 취약점을 드러냈습니다. 이 공격은 암호 해독 등의 작업을 프롬프트에 숨겨 금지된 입력을 생성하며, GPT-4o와 LLaMA 3.2 등 최첨단 LLM에서도 성공적으로 작동함을 보였습니다. 이는 더욱 정교한 방어 전략의 필요성을 시사합니다.

인과 베이지안 네트워크의 현실 세계 적용에 대한 새로운 연구 결과가 발표되었습니다. 연구팀은 행위를 개입으로 해석하는 방식의 순환성 문제를 밝히고, 비순환적 해석의 한계를 제시하며, 인과 모델링의 개념적 기반과 제약을 심도 있게 논의합니다.

Tim Grams, Patrick Betz, Christian Bartelt의 연구는 대규모 언어 모델의 탐색 능력을 최적 활용 관점에서 분석, 모델 크기와 탐색 성능의 상관관계를 밝히고 프롬프트 엔지니어링의 중요성을 강조했습니다. 이는 LLM의 탐색 능력 평가에 새로운 기준을 제시하고 AI 발전에 기여하는 중요한 연구입니다.