오정훈, 백성용, 이경무 교수 연구팀은 딥러닝에서 winning ticket을 찾는 새로운 방법을 제시했습니다. 매개변수 부호 정보의 중요성을 강조하며, 랜덤 초기화 네트워크에서도 우수한 성능을 달성할 수 있음을 보였습니다. 이 연구는 딥러닝의 효율성과 이해도 향상에 크게 기여할 것으로 예상됩니다.

류윤향, 뉴홍쿠오 연구팀이 개발한 DyTTP 모델은 정규화 없는 트랜스포머와 스냅샷 앙상블 전략을 결합하여 자율주행 차량의 궤적 예측 정확도, 추론 속도 및 강건성을 크게 향상시켰습니다. Argoverse 데이터셋 실험 결과, DyTTP 모델은 기존 모델보다 우수한 성능을 보였으며, 자율주행 기술 발전에 크게 기여할 것으로 기대됩니다.

Song Siqing 등 연구진의 새로운 LLM 양자화 프레임워크는 1비트 가중치와 활성화를 달성하여 계산 비용을 획기적으로 줄였습니다. 헤시안 기반 미세 그룹화와 EM 기반 양자화, 활성화 오류 완화 기술을 통해 기존의 한계를 극복하고 최첨단 성능을 달성했습니다. 이는 초경량 LLM 시대의 도래를 예고하는 중요한 연구입니다.

Bojana Ranković과 Philippe Schwaller가 개발한 GOLLuM은 LLM 미세 조정을 위한 혁신적인 베이지안 최적화 방법을 제시합니다. GP와 딥 커널을 활용하여 LLM의 성능을 향상시키고, 다양한 벤치마크에서 우수한 결과를 보였습니다. 샘플 효율적인 최적화와 더불어, 효과적인 베이지안 최적화에 대한 통찰력을 제공합니다.

구글 연구진이 개발한 FEABench는 LLMs의 다물리 해석 능력을 평가하는 혁신적인 벤치마크입니다. COMSOL Multiphysics와 같은 FEA 소프트웨어와의 상호작용을 통해 문제 해결 능력을 평가하며, 최고 성능 전략은 88%의 성공률을 달성했습니다. 이는 AI 기반 엔지니어링 자동화의 새로운 가능성을 제시합니다.