Jun Yu 등 연구팀은 8회 ABAW 경진대회에서 제안한 이중 단계 크로스-모달 정렬 프레임워크를 통해 감정 모방 강도(EMI) 추정의 정확도를 크게 향상시켜 준우승을 차지했습니다. CLIP, TCN, LSTM 등 최신 기술을 활용하여 다중 모달 데이터의 시너지를 극대화하고 시간적 요소를 고려한 분석으로 미세한 감정 변화까지 포착하는 혁신적인 기술입니다.

Nguyen Quoc-Tien, Nguyen Hong-Hai, Huynh Van-Thong 연구팀이 개발한 경량 비디오 감정 분석 모델은 MobileNetV4와 멀티스케일 3D MLP-Mixer를 활용하여 효율성과 정확성을 동시에 달성, ABAW 8th competition에서 우수한 성능을 기록하며 실시간 감정 분석의 새로운 가능성을 제시했습니다.

본 기사는 Yuan Yike 등 7명의 연구진이 발표한 Race-DiT 모델에 대한 소개입니다. 'Expert Race' 전략을 통해 토큰과 전문가의 경쟁을 유도하여 효율적인 자원 할당을 실현하고, 레이어별 정규화 및 라우터 유사성 손실 기법으로 모델의 안정성을 확보했습니다. ImageNet 실험을 통해 우수한 성능과 확장성을 검증받았으며, 향후 AI 모델 발전에 중요한 의미를 갖는 연구입니다.

제한된 자원 하에서 최적화 문제를 해결하는 혁신적인 베이지안 최적화 프레임워크(CMFBO)가 개발되어 GitHub에 공개됨. 저충실도 데이터 활용 및 체계적인 중지 기준 도입으로 비용 효율성과 실현 가능성을 동시에 확보.

Wang 등의 연구는 멀티모달 대규모 언어 모델(MLLM)의 다중 시각 자료 기반 수학적 추론 능력 평가를 위한 새로운 벤치마크, MV-MATH 데이터셋을 제시합니다. MLLM이 다중 시각 자료 환경에서 어려움을 겪는다는 사실을 밝히고, 향후 연구 방향을 제시하는 중요한 연구입니다.