차트에서 코드로: 혁신적인 MLLM, ChartCoder 등장!


중국과학원과 베이징대학교 연구진이 개발한 ChartCoder는 차트를 코드로 변환하는 최초의 전용 MLLM입니다. Code LLMs와 Snippet-of-Thought (SoT) 방법론, 그리고 대규모 데이터셋 Chart2Code-160k을 통해 기존 모델의 한계를 극복하고 높은 실행 가능성과 정확성을 달성했습니다.

related iamge

데이터 시각화의 핵심인 차트. 하지만 차트를 단순히 텍스트로 설명하는 것은 정보 손실을 야기합니다. 이 문제를 해결하기 위해, 중국과학원(CAS)과 베이징대학교 연구진이 개발한 ChartCoder가 등장했습니다. ChartCoder는 멀티모달 대규모 언어 모델(MLLM)을 활용하여 차트를 직접 실행 가능한 코드로 변환하는 획기적인 모델입니다.

기존 MLLM은 차트 이해에는 능숙하지만, 코드 생성에서는 실행 가능성과 차트 정보의 정확한 복원이라는 두 가지 큰 과제에 직면해왔습니다. ChartCoder는 이러한 문제점을 해결하기 위해 Code LLMs를 언어 백본으로 활용하여 생성 코드의 실행 가능성을 크게 향상시켰습니다. 단순히 차트를 코드로 변환하는 것이 아니라, Snippet-of-Thought (SoT) 라는 혁신적인 방법을 도입하여 단계별 코드 생성 과정을 거침으로써 더욱 정교하고 복잡한 차트도 효과적으로 처리합니다.

하지만, 모델의 성능을 뒷받침하는 것은 무엇보다도 데이터입니다. 연구진은 Chart2Code-160k 라는 방대한 규모의 차트-코드 데이터셋을 새롭게 구축했습니다. 이는 기존 모델의 한계를 뛰어넘는 ChartCoder의 성능 향상에 크게 기여했습니다. 70억 개의 매개변수만으로도 ChartCoder는 기존 오픈소스 MLLM을 능가하는 차트 복원 및 코드 실행 성능을 보여주었습니다.

이 연구는 단순한 기술적 진보를 넘어, 데이터 분석과 시각화 분야에 혁신적인 변화를 가져올 것으로 예상됩니다. 더욱 자세한 정보와 코드는 GitHub에서 확인할 수 있습니다. 차트에서 코드로의 변환이라는 새로운 지평을 연 ChartCoder의 앞으로의 발전이 기대됩니다.🎉

주요 인물: Xuanle Zhao, Xianzhen Luo, Qi Shi, Chi Chen, Shuo Wang, Wanxiang Che, Zhiyuan Liu, Maosong Sun (중국과학원 및 베이징대학교 연구진)


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] ChartCoder: Advancing Multimodal Large Language Model for Chart-to-Code Generation

Published:  (Updated: )

Author: Xuanle Zhao, Xianzhen Luo, Qi Shi, Chi Chen, Shuo Wang, Wanxiang Che, Zhiyuan Liu, Maosong Sun

http://arxiv.org/abs/2501.06598v1