생성 AI의 새로운 지표: '조종 가능성'에 주목하라!

본 기사는 생성 AI 모델의 평가 기준으로 '생산성' 뿐 아니라 '조종 가능성'이 중요함을 강조하는 최신 연구를 소개합니다. 연구진은 사용자 연구를 통해 고품질 모델조차 '조종 가능성'이 낮다는 것을 밝히고, 강화학습을 통해 개선 가능성을 제시합니다.

최근 생성 AI 모델의 발전이 눈부시지만, 과연 우리는 이 모델들을 얼마나 잘 '제어'할 수 있을까요? 단순히 다양하고 질 좋은 결과물을 만들어내는 것만이 전부일까요?

Keyon Vafa, Sarah Bentley, Jon Kleinberg, Sendhil Mullainathan 등이 공동으로 발표한 논문 "What's Producible May Not Be Reachable: Measuring the Steerability of Generative Models"은 이러한 질문에 답을 제시합니다. 이 연구는 생성 모델 평가의 새로운 기준으로 **'조종 가능성(Steerability)'**을 제시합니다.

기존의 평가 방식은 주로 모델의 '생산성(Producibility)', 즉 모델이 얼마나 다양하고 질 높은 결과물을 생성하는지에 초점을 맞춰왔습니다. 하지만 연구팀은 실제 사용자의 경험은 단순히 '생성 가능한 것'보다 '원하는 결과를 얻을 수 있는가'에 달려있다고 주장합니다. 이것이 바로 '조종 가능성'입니다. 사용자가 특정 목표를 가지고 모델을 사용할 때, 그 목표를 달성하는 결과물을 얻어낼 수 있는 정도를 의미합니다.

'조종 가능성'은 '생산성'보다 측정이 훨씬 어렵습니다. 사용자의 목표를 알아야 하기 때문입니다. 연구팀은 이 문제를 해결하기 위해 독창적인 벤치마크 작업을 고안했습니다. 생성 모델에서 샘플 출력물을 얻은 후, 사용자들에게 이를 재현하도록 요청하는 방식입니다.

대규모 사용자 연구를 통해 텍스트-이미지 모델과 대규모 언어 모델을 평가한 결과는 놀라웠습니다. 이들 모델은 고품질 출력물을 생성하는 능력은 뛰어났지만, '조종 가능성'은 매우 낮았습니다. 즉, 사용자가 원하는 특정 결과물을 얻기가 매우 어려웠다는 것을 의미합니다. 이는 생성 모델의 발전 방향에 대한 중요한 시사점을 제공합니다. 단순히 '생산성'만 높이는 것이 아니라, 사용자의 의도를 정확히 반영하고 제어할 수 있는 '조종 가능성'을 높이는 데 집중해야 한다는 것입니다.

하지만 희망적인 소식도 있습니다. 연구팀은 강화 학습 기법을 통해 이미지 모델의 '조종 가능성'을 2배 이상 향상시키는 대안적인 제어 메커니즘을 개발하는 데 성공했습니다. 이는 '조종 가능성' 개선이 실제로 가능하다는 것을 보여주는 중요한 증거입니다.

이 연구는 생성 AI 모델의 발전 방향을 재정립하는 중요한 전환점이 될 것입니다. 앞으로는 '생산성'과 더불어 '조종 가능성'을 고려한 새로운 평가 지표와 개발 방향이 요구될 것입니다. 단순히 많은 것을 만들어내는 것 이상으로, 우리가 원하는 것을 정확하게 만들어내는 AI 시대를 향한 여정이 시작되었습니다.