동남아시아 문화를 담은 AI 데이터셋 SEA-VL: 크라우드소싱, 크롤링 그리고 생성 모델의 만남
본 기사는 동남아시아 문화를 반영한 대규모 비전-언어 데이터셋 SEA-VL의 개발에 대한 내용을 다룹니다. 크라우드소싱, 크롤링, 이미지 생성 등 다양한 방법론을 비교 분석하여 효율적인 데이터 수집 전략을 제시하고, 향후 AI 개발의 방향을 제시합니다.
동남아시아는 다양한 언어와 풍부한 문화를 가진 지역입니다. 하지만 인공지능(AI) 연구에서는 그 다양성이 제대로 반영되지 못하고 있습니다. AI 모델들은 종종 동남아시아 문화의 미묘한 차이를 포착하지 못하며, 이는 AI의 문화적 편향성으로 이어집니다.
이러한 문제를 해결하기 위해, Samuel Cahyawijaya 등 60명 이상의 연구진은 동남아시아 문화를 중심으로 한 비전-언어(VL) 데이터셋, SEA-VL을 개발하는 야심찬 프로젝트를 진행했습니다. SEA-VL은 동남아시아 여러 국가의 참여자들과 협력하여 문화적 연관성과 다양성을 확보하고, 소외된 언어들의 포괄성을 높이는 것을 목표로 합니다.
단순한 크라우드소싱에 그치지 않고, 연구진은 크롤링과 이미지 생성 기술을 활용하여 문화적으로 관련된 이미지를 자동으로 수집하는 방법도 함께 탐구했습니다. 그 결과, 크롤링을 통해 약 85%의 문화적 연관성을 확보하면서 크라우드소싱보다 비용과 시간 효율성을 높일 수 있음을 발견했습니다.
하지만 이미지 생성 모델의 발전에도 불구하고, 합성 이미지는 여전히 동남아시아 문화의 섬세한 측면을 정확하게 반영하는 데 어려움을 보였습니다. 생성된 이미지는 종종 지역의 미묘한 전통과 문화적 맥락을 반영하지 못했습니다.
결과적으로, 연구진은 기존 데이터셋보다 50배 이상 많은 128만 개 이상의 동남아시아 문화 관련 이미지를 수집하는 데 성공했습니다. SEA-VL은 동남아시아의 다양한 문화를 진정으로 반영하는 포괄적인 AI 시스템 개발에 기여할 것으로 기대됩니다. 이는 단순한 데이터셋의 개발을 넘어, AI의 윤리적이고 공정한 발전을 위한 중요한 발걸음입니다.
앞으로의 과제: 생성 모델의 발전을 통해 동남아시아 문화의 다양성을 더욱 정확하게 반영하는 이미지 생성 기술의 개발이 중요한 과제로 남아 있습니다. 더 나아가, SEA-VL을 통해 개발된 AI 모델들이 실제 사회 문제 해결에 어떻게 활용될 수 있는지에 대한 연구가 필요합니다. SEA-VL은 단순한 데이터셋이 아닌, 보다 공정하고 포괄적인 AI 시스템 구축을 향한 여정의 시작점입니다.
Reference
[arxiv] Crowdsource, Crawl, or Generate? Creating SEA-VL, a Multicultural Vision-Language Dataset for Southeast Asia
Published: (Updated: )
Author: Samuel Cahyawijaya, Holy Lovenia, Joel Ruben Antony Moniz, Tack Hwa Wong, Mohammad Rifqi Farhansyah, Thant Thiri Maung, Frederikus Hudi, David Anugraha, Muhammad Ravi Shulthan Habibi, Muhammad Reza Qorib, Amit Agarwal, Joseph Marvin Imperial, Hitesh Laxmichand Patel, Vicky Feliren, Bahrul Ilmi Nasution, Manuel Antonio Rufino, Genta Indra Winata, Rian Adam Rajagede, Carlos Rafael Catalan, Mohamed Fazli Imam, Priyaranjan Pattnayak, Salsabila Zahirah Pranida, Kevin Pratama, Yeshil Bangera, Adisai Na-Thalang, Patricia Nicole Monderin, Yueqi Song, Christian Simon, Lynnette Hui Xian Ng, Richardy Lobo' Sapan, Taki Hasan Rafi, Bin Wang, Supryadi, Kanyakorn Veerakanjana, Piyalitt Ittichaiwong, Matthew Theodore Roque, Karissa Vincentio, Takdanai Kreangphet, Phakphum Artkaew, Kadek Hendrawan Palgunadi, Yanzhi Yu, Rochana Prih Hastuti, William Nixon, Mithil Bangera, Adrian Xuan Wei Lim, Aye Hninn Khine, Hanif Muhammad Zhafran, Teddy Ferdinan, Audra Aurora Izzani, Ayushman Singh, Evan, Jauza Akbar Krito, Michael Anugraha, Fenal Ashokbhai Ilasariya, Haochen Li, John Amadeo Daniswara, Filbert Aurelian Tjiaranata, Eryawan Presma Yulianrifat, Can Udomcharoenchaikit, Fadil Risdian Ansori, Mahardika Krisna Ihsani, Giang Nguyen, Anab Maulana Barik, Dan John Velasco, Rifo Ahmad Genadi, Saptarshi Saha, Chengwei Wei, Isaiah Flores, Kenneth Ko Han Chen, Anjela Gail Santos, Wan Shen Lim, Kaung Si Phyo, Tim Santos, Meisyarah Dwiastuti, Jiayun Luo, Jan Christian Blaise Cruz, Ming Shan Hee, Ikhlasul Akmal Hanif, M. Alif Al Hakim, Muhammad Rizky Sya'ban, Kun Kerdthaisong, Lester James V. Miranda, Fajri Koto, Tirana Noor Fatyanosa, Alham Fikri Aji, Jostin Jerico Rosal, Jun Kevin, Robert Wijaya, Onno P. Kampman, Ruochen Zhang, Börje F. Karlsson, Peerat Limkonchotiwat
http://arxiv.org/abs/2503.07920v2