더 빠르고, 저렴하며, 더 나은: LLM 및 RAG 시스템을 위한 다중 목표 하이퍼파라미터 최적화

본 연구는 LLM 및 RAG 시스템의 다중 목표 하이퍼파라미터 최적화에 대한 최초의 접근 방식을 제시하며, 베이지안 최적화 방법을 통해 비용, 지연 시간, 안전성, 정렬을 동시에 개선하는 결과를 보여줍니다. 하지만 최적 구성의 일반화 가능성에 대한 고려 사항도 제시하며, 실무자들에게 중요한 시사점을 제공합니다.

최근 Retrieval Augmented Generation (RAG) 기술이 대규모 언어 모델(LLM) 시스템 개선에 널리 사용되고 있지만, 이는 많은 선택, 매개변수 및 하이퍼파라미터를 필요로 합니다. 여기에는 LLM, 임베딩 및 랭커 모델뿐 아니라 개별 RAG 구성 요소를 제어하는 하이퍼파라미터도 포함됩니다.

하지만, 해결 공간이 매우 크고, 목표 평가가 불확실하며, 평가 비용이 높기 때문에 RAG 또는 LLM 시스템 전체 구성을 종합적으로 최적화하는 것은, 특히 다중 목표 설정에서는 아직 미개척 분야였습니다.

Matthew Barker, Andrew Bell, Evan Thomas, James Carr, Thomas Andrews, Umang Bhatt 등의 연구진은 이러한 문제를 해결하기 위해 LLM 및 RAG 시스템 전체에 걸쳐 비용, 지연 시간, 안전성 및 정렬에 대한 다중 목표 매개변수 최적화를 위한 최초의 접근 방식을 소개했습니다.

연구 결과, 베이지안 최적화 방법이 기존 방법보다 훨씬 우수한 성능을 보이며, 두 가지 새로운 RAG 벤치마크 작업에서 우수한 파레토 프런트를 달성했습니다. 이는 비용, 속도, 안전성, 정확성을 모두 고려하여 최적의 시스템 구성을 찾아낼 수 있음을 의미합니다.

흥미로운 점은, 연구진은 최적의 구성이 작업과 목표에 따라 일반화되지 않을 수 있다는 점을 강조하며, 다중 목표 RAG 시스템을 설계하는 실무자를 위한 중요한 고려 사항을 제시했습니다. 이는 RAG 시스템의 최적화가 단순히 최고 성능을 추구하는 것뿐 아니라, 특정 상황과 목표에 맞춰 조정되어야 함을 시사합니다.

이 연구는 LLM 및 RAG 시스템의 효율성과 성능을 향상시키는 데 중요한 발걸음을 내디뎠습니다. 앞으로 이러한 연구 결과가 다양한 분야에서 더욱 발전된 AI 시스템 개발에 기여할 것으로 기대됩니다. 특히, 비용과 시간 효율성을 중시하는 실무자들에게는 더욱 유용한 정보가 될 것입니다.