딥러닝으로 문화의 다양성을 담다: 'Culture-TRIP'이 제시하는 새로운 지평

정수채, 최인성, 윤영식, 김지혜 연구원 팀은 기존 텍스트-이미지 생성 모델의 문화적 편향 문제를 해결하기 위해 Culture-TRIP을 개발했습니다. 위키피디아와 웹 정보, 대규모 언어 모델을 활용하여 프롬프트를 반복적으로 개선하는 이 기술은 8개국 66명의 설문조사 결과를 통해 그 효과가 검증되었습니다. Culture-TRIP은 AI 기술을 통해 문화적 다양성을 존중하고 소외된 문화에 대한 이해를 증진시키는 데 크게 기여할 것으로 기대됩니다.

최근 괄목할 만한 발전을 이룬 텍스트-이미지 생성 모델들은, Stable Diffusion과 같은 모델들을 통해 주어진 프롬프트와 의미적으로 매우 일치하는 이미지를 생성하는 데 성공했습니다. 하지만, 정작 서구 문화권 중심으로 학습된 기존 모델들은 '항아리'와 같이 서구권에 잘 알려지지 않거나, 대표성이 부족한 문화적 개념이나 사물을 제대로 표현하는 데 어려움을 겪었습니다.

정수채, 최인성, 윤영식, 김지혜 연구원 팀은 이러한 한계를 극복하기 위해 'Culture-TRIP'(Culturally-Aware Text-to-Image Generation with Iterative Prompt Refinement) 이라는 혁신적인 접근 방식을 제안했습니다. Culture-TRIP은 프롬프트를 반복적으로 개선하여 텍스트-이미지 모델에서 문화적 개념과 이미지 간의 정합성을 높이는 기술입니다.

그들의 방법은 크게 두 단계로 이루어집니다. 첫째, 프롬프트에 포함된 문화적 개념과 관련된 맥락과 시각적 세부 정보를 위키피디아와 웹에서 수집합니다. 둘째, 수집된 정보와 대규모 언어 모델을 활용하여 일련의 문화적 기준에 따라 프롬프트를 반복적으로 개선하고 평가합니다.

연구팀은 8개국 66명의 참가자를 대상으로 사용자 설문조사를 실시하여 Culture-TRIP의 효과를 검증했습니다. 그 결과, 제안된 방법이 이미지와 프롬프트 간의 정합성을 향상시켰으며, 특히 대표성이 부족한 문화적 개념에 대한 이미지 생성의 정확도를 크게 높였다는 것을 확인했습니다. '항아리'와 같은 특정 문화적 개념을 정확하게 이미지로 표현하는 데 어려움을 겪던 기존 모델의 한계를 극복한 셈입니다. 자세한 내용은 https://shane3606.github.io/Culture-TRIP 에서 확인할 수 있습니다.

이 연구는 단순히 기술적 발전을 넘어, 인공지능 기술을 통해 문화적 다양성을 존중하고 소외된 문화에 대한 이해를 증진시키는 데 기여할 것으로 기대됩니다. Culture-TRIP은 AI 기술이 문화적 편향을 극복하고, 보다 포괄적이고 공정한 미래를 만드는 데 중요한 역할을 할 수 있음을 보여주는 좋은 사례입니다. 향후 이 기술이 더욱 발전하여 다양한 문화적 표현을 담은 풍부하고 다채로운 이미지들을 생성하는 데 활용될 수 있기를 기대합니다.