Ivan Ilin 연구원의 기술 보고서는 PyTorch autograd를 활용하여 거대 언어 모델(LLM)의 헤시안 행렬을 효율적으로 계산하는 방법을 제시합니다. 부분 헤시안 행렬 계산 및 벡터-헤시안 곱(HVP)을 이용한 대각선 계산 방법과 개방형 소스 코드 공개를 통해 LLM 연구 및 개발에 크게 기여할 것으로 기대됩니다.

중국과학원 연구팀이 제시한 'Enhance Then Search' 전략은 이미지 데이터 증강과 그리드 기반 탐색 전략을 결합하여 Foundation Model의 CD-FSOD 성능을 크게 향상시켰습니다. 이 연구는 데이터 부족 환경에서 Vision-Language Model의 실용적 활용 가능성을 높였으며, 관련 코드를 공개하여 다른 연구자들의 활용을 지원하고 있습니다.

Yao Tao 등 연구진의 Saliency-driven Dynamic Token Pruning (SDTP)은 대규모 언어 모델의 계산 복잡도 문제를 해결하기 위한 혁신적인 토큰 가지치기 프레임워크입니다. 입력 컨텍스트에 기반한 동적 토큰 제거를 통해 연산량을 크게 줄이고 속도를 향상시키면서 성능 저하를 최소화합니다. 다양한 모델과 데이터셋에 적용 가능한 일반적인 프레임워크로서, LLM의 실용화 및 확장 가능성에 크게 기여할 것으로 예상됩니다.

중국과학원 자동화연구소 연구진이 개발한 AVadCLIP은 CLIP 기반의 음향-영상 협업 프레임워크로, 기존 비디오 이상 탐지 방식의 한계를 극복하고 높은 정확도와 강건성을 달성했습니다. 불확실성 기반 특징 증류 모듈을 통해 단일 모달 데이터에서도 우수한 성능을 보이며, 지능형 감시 분야의 혁신을 이끌 것으로 기대됩니다.

Dai, Luo, Li 연구팀은 컨포멀 예측 이론 기반의 새로운 프레임워크를 통해 의료 영상 분할에서의 오류 발견율을 엄격하게 제어하는 방법을 제시했습니다. 사용자 정의 위험 수준에 따라 동적으로 임계값을 조정하는 메커니즘을 통해 기존 모델의 신뢰도 문제를 해결하고, 주요 모델 및 데이터 세트와의 호환성을 유지하면서 FDR 지표를 효과적으로 제한합니다. 이 연구는 의료 영상 분석의 정확성과 안전성을 향상시키는 데 중요한 기여를 할 것으로 기대됩니다.