TaskGalaxy: 수만 가지 시각적 작업 유형으로 AI의 가능성을 확장하다

중국 과학원 자동화 연구소 연구진이 개발한 TaskGalaxy는 GPT-4를 활용하여 19,227개의 계층적 작업 유형과 413,648개의 샘플을 포함하는 대규모 다중 모달 지시어 미세 조정 데이터셋입니다. 자동화된 데이터 생성 과정을 통해 작업 다양성과 데이터 품질을 향상시켰으며, LLaVA-v1.5와 InternVL-Chat-v1.0 모델에서 성능 향상을 확인했습니다.

수만 가지 시각적 작업 유형으로 AI의 가능성을 확장하다: TaskGalaxy

최근 급격한 발전을 거듭하고 있는 다중 모달 비주얼 언어 모델. 하지만 이러한 모델의 성능은 종종 특정 작업에 대한 데이터 부족으로 인해 제한을 받아왔습니다. 일반화 능력이 떨어지고 편향된 결과를 출력하는 것이 바로 그 이유입니다. 수동으로 작업에 라벨을 붙이는 기존 방식은 수백 가지의 작업 유형만을 생성하는 데 그쳤습니다. 이러한 한계를 극복하기 위해 등장한 것이 바로 TaskGalaxy 입니다.

TaskGalaxy는 19,227개의 계층적 작업 유형과 413,648개의 샘플을 포함하는 대규모 다중 모달 지시어 미세 조정 데이터셋입니다. 중국 과학원 자동화 연구소의 Jiankang Chen 박사를 비롯한 11명의 연구진은 GPT-4를 활용하여 소규모의 수동으로 정의된 작업에서 시작하여 작업의 다양성을 획기적으로 확장했습니다. CLIP과 GPT-4는 오픈소스 이미지와 가장 잘 일치하는 작업을 필터링하고 관련 질문-답변 쌍을 생성하는 역할을 수행했습니다. 여러 모델을 활용하여 샘플의 품질을 보장하는 정교한 시스템을 구축한 것입니다. 이 자동화된 프로세스는 수동 작업의 필요성을 줄이는 동시에 작업의 다양성과 데이터 품질을 향상시켰습니다.

연구진은 LLaVA-v1.5와 InternVL-Chat-v1.0 모델에 TaskGalaxy를 통합하여 실험을 진행했습니다. 그 결과, 16개의 벤치마크에서 상당한 성능 향상을 확인했습니다. 이는 작업의 다양성이 AI 모델 성능 향상에 얼마나 중요한 역할을 하는지를 보여주는 강력한 증거입니다. TaskGalaxy는 https://github.com/Kwai-YuanQi/TaskGalaxy 에서 공개적으로 접근 가능합니다.

TaskGalaxy는 단순한 데이터셋을 넘어, AI 모델의 한계를 극복하고 더욱 발전된 인공지능 시대를 향한 중요한 이정표가 될 것입니다. 이 연구는 AI 분야의 혁신적인 발전을 보여주는 동시에, 앞으로 더욱 다양하고 정교한 AI 모델 개발을 위한 새로운 가능성을 제시하고 있습니다. 연구진의 노력은 향후 AI 기술의 발전에 크게 기여할 것으로 기대됩니다. 💯