AutoPDL: LLM 에이전트를 위한 자동 프롬프트 최적화의 혁신

ETH Zurich 연구팀이 개발한 AutoPDL은 LLM의 프롬프트를 자동으로 최적화하는 시스템으로, 다양한 프롬프트 패턴과 데모를 조합하여 최적의 설정을 찾습니다. PDL을 사용하여 사람이 이해하고 수정 가능한 프로그램을 생성하며, 실험 결과 최대 68.9%의 정확도 향상을 보였습니다.

AI 프롬프트 엔지니어링의 자동화 시대가 열리다: AutoPDL 소개

대규모 언어 모델(LLM)의 성능은 프롬프트에 크게 좌우됩니다. Zero-Shot, CoT, ReAct, ReWOO 등 다양한 프롬프팅 패턴과 구체적인 프롬프트 내용(지시사항 및 몇 가지 예시)이 모두 영향을 미칩니다. 하지만 이러한 조합을 수동으로 조정하는 것은 지루하고 오류가 발생하기 쉽고, LLM이나 작업에 따라 전이되지 않는다는 문제점이 있습니다.

스위스 취리히 연방 공과대학교(ETH Zurich) 의 Claudio Spiess, Mandana Vaziri, Louis Mandel, Martin Hirzel 연구팀은 이러한 문제를 해결하기 위해 AutoPDL, 즉 LLM 에이전트 설정을 자동으로 발견하는 혁신적인 방법을 제시했습니다.

AutoPDL: AutoML과 PDL의 만남

AutoPDL은 에이전트 기반 및 비에이전트 기반 프롬프트 패턴과 데모의 조합 공간을 탐색하는 구조적 AutoML 문제로 정의됩니다. 연구팀은 Successive Halving 기법을 활용하여 이 공간을 효율적으로 탐색합니다. 특히, PDL(Prompt Design Language) 프롬프트 프로그래밍 언어를 사용하는 라이브러리를 도입하여 일반적인 프롬프트 패턴을 구현했습니다.

AutoPDL의 핵심은 사람이 읽고 수정하고 실행할 수 있는 PDL 프로그램을 생성한다는 점입니다. 이를 통해 소스-투-소스 최적화가 가능해져 인간의 개입을 통한 개선과 재사용이 용이해집니다. 이는 단순한 자동화를 넘어, 인간과 AI의 협력적 프롬프트 엔지니어링을 가능하게 합니다.

놀라운 성능 향상: 실험 결과

80억에서 700억 파라미터에 이르는 6개의 LLM과 3가지 작업에 대한 평가 결과, AutoPDL은 일관되게 정확도를 향상시켰습니다. 평균 $9.5 \pm 17.5$ 퍼센트 포인트의 향상을 보였으며, 최대 68.9 퍼센트 포인트까지 향상된 경우도 있었습니다. 흥미롭게도, 최적의 프롬프팅 전략은 모델과 작업에 따라 다르다는 사실이 밝혀졌습니다.

결론: 새로운 시대의 프롬프트 엔지니어링

AutoPDL은 LLM 프롬프트 엔지니어링의 자동화에 새로운 장을 열었습니다. 단순한 성능 향상을 넘어, 모델과 작업에 특화된 최적의 프롬프트 전략을 발견하고, 사람이 이해하고 수정할 수 있는 프롬프트 프로그램을 생성함으로써, 보다 효율적이고 효과적인 LLM 활용 시대를 앞당길 것으로 기대됩니다. 앞으로 AutoPDL이 어떻게 발전하고 다양한 분야에 적용될지 주목할 필요가 있습니다.