동남아시아 문화를 담은 AI 데이터셋 SEA-VL: 크라우드소싱, 크롤링, 그리고 생성 모델의 만남
본 기사는 동남아시아의 문화적 다양성을 반영한 비전-언어 데이터셋 SEA-VL의 개발에 대한 내용을 다룹니다. 크라우드소싱, 크롤링, 이미지 생성 등 다양한 데이터 수집 방법을 비교 분석하고, 합성 이미지 생성의 한계와 문화적 맥락을 고려한 데이터 구축의 중요성을 강조합니다. SEA-VL은 AI의 문화적 편향성을 해소하고 포괄성을 높이는 중요한 시도로 평가됩니다.
동남아시아(SEA)는 놀라울 정도로 다양한 언어와 문화를 가진 지역입니다. 하지만, 인공지능(AI) 연구, 특히 비전-언어(VL) 분야에서는 여전히 대표성이 부족합니다. 이는 AI 모델이 SEA 문화의 섬세한 뉘앙스를 포착하지 못하는 결과로 이어집니다.
이러한 문제를 해결하기 위해 등장한 것이 바로 SEA-VL입니다. Samuel Cahyawijaya를 비롯한 70명이 넘는 연구진이 참여한 이 오픈소스 프로젝트는 SEA 언어를 위한 고품질의 문화적으로 적절한 데이터를 개발하는 데 전념하고 있습니다. SEA 국가의 기여자들을 참여시킴으로써 문화적 적절성과 다양성을 보장하고, VL 연구에서 소외된 언어들의 포괄성을 높이는 것을 목표로 합니다.
SEA-VL은 단순한 크라우드소싱을 넘어, 크롤링과 이미지 생성을 통해 문화적으로 관련된 이미지를 자동으로 수집하는 방법도 탐구했습니다. 연구 결과, 이미지 크롤링은 크라우드소싱보다 비용과 시간 효율성이 높으면서도 약 85%의 문화적 적절성을 달성했습니다. 반면, 생성형 비전 모델의 발전에도 불구하고, 합성 이미지는 SEA 문화를 정확하게 반영하는 데는 여전히 신뢰성이 떨어지는 것으로 나타났습니다. 생성된 이미지는 종종 지역의 미묘한 전통과 문화적 맥락을 반영하지 못했습니다.
결과적으로, 연구진은 128만 개가 넘는 SEA 문화적으로 관련된 이미지를 수집했습니다. 이는 기존 데이터셋보다 50배 이상 큰 규모입니다. SEA-VL을 통해 연구진은 SEA의 대표성 격차를 해소하고, 다양한 문화를 진정으로 반영하는 포괄적인 AI 시스템 개발을 촉진하고자 합니다.
이는 단순한 데이터셋 개발을 넘어, AI의 공정성과 포괄성을 향한 중요한 발걸음입니다. 다양한 문화적 배경을 가진 연구자들의 협력과 혁신적인 데이터 수집 방법의 도입을 통해, 더욱 공정하고, 다양한 사회를 위한 AI의 발전을 기대할 수 있습니다. 앞으로 SEA-VL이 어떻게 발전하고 활용될지 주목할 필요가 있습니다.
Reference
[arxiv] Crowdsource, Crawl, or Generate? Creating SEA-VL, a Multicultural Vision-Language Dataset for Southeast Asia
Published: (Updated: )
Author: Samuel Cahyawijaya, Holy Lovenia, Joel Ruben Antony Moniz, Tack Hwa Wong, Mohammad Rifqi Farhansyah, Thant Thiri Maung, Frederikus Hudi, David Anugraha, Muhammad Ravi Shulthan Habibi, Muhammad Reza Qorib, Amit Agarwal, Joseph Marvin Imperial, Hitesh Laxmichand Patel, Vicky Feliren, Bahrul Ilmi Nasution, Manuel Antonio Rufino, Genta Indra Winata, Rian Adam Rajagede, Carlos Rafael Catalan, Mohamed Fazli Imam, Priyaranjan Pattnayak, Salsabila Zahirah Pranida, Kevin Pratama, Yeshil Bangera, Adisai Na-Thalang, Patricia Nicole Monderin, Yueqi Song, Christian Simon, Lynnette Hui Xian Ng, Richardy Lobo' Sapan, Taki Hasan Rafi, Bin Wang, Supryadi, Kanyakorn Veerakanjana, Piyalitt Ittichaiwong, Matthew Theodore Roque, Karissa Vincentio, Takdanai Kreangphet, Phakphum Artkaew, Kadek Hendrawan Palgunadi, Yanzhi Yu, Rochana Prih Hastuti, William Nixon, Mithil Bangera, Adrian Xuan Wei Lim, Aye Hninn Khine, Hanif Muhammad Zhafran, Teddy Ferdinan, Audra Aurora Izzani, Ayushman Singh, Evan, Jauza Akbar Krito, Michael Anugraha, Fenal Ashokbhai Ilasariya, Haochen Li, John Amadeo Daniswara, Filbert Aurelian Tjiaranata, Eryawan Presma Yulianrifat, Can Udomcharoenchaikit, Fadil Risdian Ansori, Mahardika Krisna Ihsani, Giang Nguyen, Anab Maulana Barik, Dan John Velasco, Rifo Ahmad Genadi, Saptarshi Saha, Chengwei Wei, Isaiah Flores, Kenneth Ko Han Chen, Anjela Gail Santos, Wan Shen Lim, Kaung Si Phyo, Tim Santos, Meisyarah Dwiastuti, Jiayun Luo, Jan Christian Blaise Cruz, Ming Shan Hee, Ikhlasul Akmal Hanif, M. Alif Al Hakim, Muhammad Rizky Sya'ban, Kun Kerdthaisong, Lester James V. Miranda, Fajri Koto, Tirana Noor Fatyanosa, Alham Fikri Aji, Jostin Jerico Rosal, Jun Kevin, Robert Wijaya, Onno P. Kampman, Ruochen Zhang, Börje F. Karlsson, Peerat Limkonchotiwat
http://arxiv.org/abs/2503.07920v1