중국과학원 자동화연구소 연구진이 발표한 Probe Pruning (PP)은 LLM의 속도를 획기적으로 향상시키는 새로운 프레임워크입니다. 기존 모델과의 호환성이 뛰어나고, 최소한의 탐색만으로도 효율적인 구조적 가지치기를 가능하게 하여, LLaMA-2/3 및 OPT 모델에서 괄목할 만한 성능 향상을 보였습니다.

본 기사는 AI 기반 소설 생성 시스템 WriterAgent에 대한 소개와 함께, 기존 소설 생성 AI의 한계를 극복하고 작가의 스타일과 세계관을 완벽하게 재현하는 기술적 성과에 초점을 맞추고 있습니다. WriterLoRA 프레임워크와 커리큘럼 학습 방식을 통해 달성한 높은 수준의 서사 일관성 및 다국어 지원을 강조하며, AI 소설 창작 분야의 미래 가능성을 제시합니다.

중국 연구팀이 개발한 PDeepPP 딥러닝 프레임워크는 사전 학습된 단백질 언어 모델과 신경망을 결합하여 단백질 변형 및 생리활성 펩타이드 예측의 정확도를 크게 향상시켰습니다. 33개 과제 중 25개에서 최첨단 성능을 달성하며, 대규모 펩타이드 발견 및 PTM 분석에 효율적인 솔루션을 제공합니다.

Tianle Li 등 연구진은 Transformer의 맥락 납치 취약성에 대한 이론적 분석을 통해, 더 깊은 Transformer 모델이 더 높은 강건성을 가진다는 것을 밝혔습니다. 이는 심층 모델의 세분화된 최적화 단계가 맥락 납치의 간섭을 효과적으로 완화하기 때문입니다. 이 연구는 향후 더 안전하고 강력한 Transformer 아키텍처 설계에 기여할 것으로 기대됩니다.

다국어 LLM이 영어 기반 표현 공간에서 주요 의사결정을 내린다는 놀라운 연구 결과가 발표되었습니다. 로짓 분석과 활성화 조향 실험을 통해 LLM의 영어 의존성이 확인되었으며, 이는 LLM의 투명성과 공정성에 대한 중요한 시사점을 제공합니다.