유 동싱 박사 연구팀은 인간의 인지 과정을 모방한 새로운 멀티모달 LLM 토큰화 방식을 제시하여 기존 모델 대비 성능 향상과 인간과 유사한 오류 패턴을 달성했습니다. 이 연구는 인간과 AI의 공존을 위한 중요한 발걸음입니다.

본 기사는 Chenkai Zhang 등 연구진이 개발한 드라마 시리즈 이해를 위한 새로운 벤치마크 SeriesBench와 서사 추론 프레임워크 PC-DCoT에 대해 소개합니다. 기존 멀티모달 AI의 한계를 극복하고, 더욱 정교한 서사 이해 능력을 갖춘 모델 개발을 위한 중요한 발걸음이 될 것으로 기대됩니다.

Nexus-Gen은 LLM과 확산 모델을 통합하여 이미지 이해, 생성, 편집을 수행하는 혁신적인 모델입니다. 2단계 학습 과정과 사전 채우기 자기회귀 전략을 통해 기존 모델의 한계를 극복하고, 모든 자원을 공개하여 연구 발전에 기여합니다.

AI 거버넌스 연구의 현황을 분석한 논문에 따르면, 기업 중심의 사전 배포 연구에 집중되어 있으며, 고위험 분야 및 배포 후 문제에 대한 연구가 부족합니다. 외부 연구자의 데이터 접근 제한 및 AI 행동 관찰의 어려움 등이 문제점으로 지적됩니다.

다중 모달 LLM의 불확실성 정량화(UQ) 개선을 위한 새로운 방법이 제시되었습니다. 기존의 UQ 방법의 한계를 극복하기 위해 교차 모달 일관성과 grounding 기법, 온도 조절 기법을 활용하여 신뢰도 보정의 정확성을 높였습니다. 실험 결과, 의료 질의응답 및 시각적 질의응답 작업에서 향상된 성능을 보였습니다.