AI 과대광고를 넘어: 임베딩 vs. 프롬프팅, 다중 분류 작업에서의 승자는?

본 연구는 다중 분류 문제에 대한 임베딩 기반 접근 방식이 LLM 프롬프팅 기반 접근 방식보다 정확도, 속도, 비용 면에서 우수함을 실험적으로 증명하였습니다. A/B 테스트를 통한 검증 결과를 바탕으로, 독점 데이터 활용이 가능한 경우 임베딩 기반 모델의 채택을 권고합니다.

최근 몇 년간 AI의 급속한 발전은 많은 분야에서 혁신을 가져왔지만, 과대광고 또한 만연하고 있습니다. 특히 대규모 언어 모델(LLM)을 이용한 프롬프팅 기법은 마치 만능열쇠처럼 여겨지고 있죠. 하지만 모든 문제에 프롬프팅이 최선일까요? Marios Kokkodis, Richard Demsyn-Jones, Vijay Raghavan 세 연구자의 최근 연구는 이 질문에 대한 명쾌한 답을 제시합니다.

그들의 연구는 Thumbtack 고객의 홈 서비스 프로젝트 설명(텍스트와 이미지)을 사용하여 다중 분류 문제를 해결하는 두 가지 접근 방식을 비교 분석했습니다. 하나는 텍스트와 이미지를 임베딩하여 소프트맥스 모델을 구축하는 방식이고, 다른 하나는 최첨단 LLM 모델에 프롬프트를 제공하여 분류하는 방식입니다.

결과는 놀라웠습니다. 임베딩 기반 모델이 정확도, 보정, 지연 시간, 비용 측면에서 LLM 프롬프트 기반 모델을 압도적으로 능가했습니다. 구체적으로, 임베딩 접근 방식은 프롬프팅 접근 방식보다 정확도가 무려 49.5%나 높았으며, 이러한 우수성은 텍스트만, 이미지만, 그리고 텍스트와 이미지를 모두 사용하는 경우 모두에서 일관되게 나타났습니다.

더욱이, 임베딩 접근 방식은 잘 보정된 확률을 생성하여 배포 시 사용자 경험을 향상시키는 신뢰 신호로 활용할 수 있습니다. 반면, 프롬프팅 점수는 정보 가치가 매우 낮았습니다. 속도 면에서도 임베딩 방식은 이미지 처리에서 14배, 텍스트 처리에서 81배나 더 빠릅니다. 실제 배포 환경을 고려할 때 비용 측면에서도 최대 10배나 저렴할 수 있습니다.

연구팀은 실제 서비스 환경에서 A/B 테스트를 통해 오프라인 분석 결과를 검증했습니다. 그 결과, 임베딩 방식의 우수성이 다시 한번 확인되었습니다.

결론적으로, 이 연구는 독점 데이터를 활용할 수 있는 다중 분류 문제의 경우 임베딩 기반 접근 방식이 훨씬 더 나은 결과를 제공할 수 있음을 명확하게 보여줍니다. 과대광고에 현혹되지 말고, 사용 사례에 적합한 예측 모델을 신중하게 선택해야 함을 시사합니다. 과학자, 실무자, 엔지니어, 그리고 비즈니스 리더 모두 이 연구 결과를 통해 보다 현실적이고 효율적인 AI 전략을 수립할 수 있을 것입니다.