똑똑한 AI 프롬프트 선택: 프로그램 합성의 새로운 지평

본 논문은 LLM 기반 프로그램 합성의 효율성 향상을 위해 온라인 학습 기반의 프롬프트 선택 시스템 CYANEA를 제안하고, 실험 결과를 통해 기존 최고 성능 대비 37.2% 향상된 질의 해결률을 보여줍니다. 비전문가 사용자에게도 최적의 LLM 및 프롬프트를 선택하여 시간과 비용을 절약할 수 있는 가능성을 제시합니다.

최근 발표된 논문 "Online Prompt Selection for Program Synthesis"는 대규모 언어 모델(LLM)을 이용한 프로그램 합성 분야에 흥미로운 통찰력을 제공합니다. Li, Frampton, Mora, 그리고 Polgreen이 주도한 이 연구는 LLM의 능력이 모든 과제, 모든 LLM, 그리고 모든 프롬프트 스타일에 걸쳐 균일하지 않다는 사실을 밝혀냈습니다.

어떤 과제에서는 특정 LLM이나 프롬프트 방식이 압도적으로 효과적이지만, 때로는 기호적 솔버(symbolic solver)가 LLM보다 더 나은 선택일 수 있습니다. 이러한 상황에서 사용자는 LLM을 사용해야 할지, 어떤 LLM을 사용해야 할지, 그리고 어떻게 사용해야 할지를 결정해야 하는 어려움에 직면합니다. 잘못된 선택은 해결된 과제의 수, 해결 시간, 그리고 상용 API를 사용하는 경우에는 금전적 비용까지 손실로 이어질 수 있습니다.

연구팀은 이러한 선택 문제를 온라인 학습 문제로 규정하고, 다중 무장 밴딧 알고리즘을 활용하여 최적의 솔버 또는 LLM 및 프롬프트 조합을 선택하는 방법을 제시합니다. 이 알고리즘은 해결 시간, 해결된 과제의 수, 또는 비용 등 사용자가 중요하게 생각하는 요소를 우선시하는 보상 함수(reward function)를 최대화하도록 설계되었습니다.

연구팀은 이 접근 방식을 구현한 CYANEA라는 시스템을 개발하여, 기존 연구에서 사용된 질의, Syntax-Guided Synthesis 경진대회의 질의, 그리고 SMT 문제에서 생성된 새로운 질의 등 다양한 종류의 질의를 이용하여 평가했습니다. 그 결과, CYANEA는 최고의 단일 솔버보다 37.2% 더 많은 질의를 해결했으며, 가상 최고 솔버와 비교했을 때 4% 이내의 성능을 달성했습니다.

이는 LLM을 활용한 프로그램 합성 분야에서 사용자 경험을 향상시키고, 효율성을 높이는 중요한 발걸음입니다. CYANEA와 같은 지능적인 프롬프트 선택 시스템은 향후 AI 기반 프로그램 합성 도구의 발전에 중요한 역할을 할 것으로 기대됩니다. 하지만, 모든 문제에 대한 완벽한 해결책은 아니며, 지속적인 연구와 발전이 필요하다는 점을 유념해야 합니다.