StoryWeaver: 지식 강화 스토리 캐릭터 맞춤형 시각화 모델의 혁신
장진루 박사 연구팀이 개발한 StoryWeaver는 캐릭터 그래프(CG)와 지식 강화 공간 안내(KE-SG)를 활용하여 텍스트 의미와 캐릭터 정체성을 정확하게 반영하는 스토리 시각화 모델입니다. TBC-Bench 벤치마크에서 우수한 성능을 입증했으며, 코드와 데이터셋을 공개하여 향후 연구에 기여할 것으로 예상됩니다.

인공지능 분야에서 스토리 시각화는 점점 더 주목받고 있습니다. 하지만 기존 방법들은 캐릭터 정체성 유지와 텍스트 의미 정합성 사이의 균형을 맞추는 데 어려움을 겪어왔습니다. 이는 스토리 장면에 대한 세부적인 의미 모델링이 부족했기 때문입니다. 이러한 문제를 해결하기 위해, 장진루(Jinlu Zhang) 박사를 비롯한 연구팀은 StoryWeaver라는 획기적인 모델을 제시했습니다.
StoryWeaver의 핵심은 캐릭터 그래프(Character Graph, CG) 입니다. CG는 캐릭터, 캐릭터 관련 속성, 그리고 캐릭터 간의 관계를 포괄적으로 나타내는 새로운 지식 그래프입니다. 이는 단순한 이미지 생성을 넘어, 스토리의 맥락과 캐릭터의 개성을 정교하게 반영하는 시각화를 가능하게 합니다. 연구팀은 CG를 기반으로 맞춤형 캐릭터 그래프(Customization via Character Graph, C-CG) 를 통해 일관성 있는 스토리 시각화를 구현했습니다.
더 나아가, 다중 캐릭터 생성 성능을 향상시키기 위해 지식 강화 공간 안내(Knowledge-enhanced Spatial Guidance, KE-SG) 를 StoryWeaver에 통합했습니다. KE-SG는 캐릭터의 의미를 생성 과정에 정확하게 반영하여, 보다 자연스럽고 정확한 시각적 표현을 가능하게 합니다.
연구팀은 새로운 벤치마크인 TBC-Bench를 사용하여 StoryWeaver의 효과를 광범위하게 실험했습니다. 그 결과, StoryWeaver는 생생한 시각적 스토리 플롯 생성뿐 아니라 다양한 시나리오에서 캐릭터 정체성을 정확하게 전달하는 데 탁월한 성능을 보였습니다. DINO-I 기준 +9.03%, CLIP-T 기준 +13.44%의 성능 향상을 달성하여 저장 효율성까지 확보했습니다. 추가적으로, 제안된 모듈의 우수성을 검증하기 위한 제거 실험(ablation study)도 진행되었습니다.
StoryWeaver의 코드와 데이터셋은 https://github.com/Aria-Zhangjl/StoryWeaver에서 공개되어 있습니다. 이 연구는 인공지능 기반 스토리텔링 분야에 새로운 지평을 열 것으로 기대됩니다. StoryWeaver의 등장으로 더욱 풍부하고 개성 넘치는 스토리 시각화가 가능해질 전망입니다.
Reference
[arxiv] StoryWeaver: A Unified World Model for Knowledge-Enhanced Story Character Customization
Published: (Updated: )
Author: Jinlu Zhang, Jiji Tang, Rongsheng Zhang, Tangjie Lv, Xiaoshuai Sun
http://arxiv.org/abs/2412.07375v2