혁신적인 Gen-AI 워크플로우 자동 튜닝 시스템, Cognify 등장!

본 기사는 Gen-AI 워크플로우 자동 튜닝 시스템 Cognify에 대한 연구 결과를 소개합니다. Cognify는 AdaSeek 알고리즘을 사용하여 워크플로우의 성능, 비용, 속도를 최대 2.8배, 10배, 2.7배까지 개선하는 놀라운 성과를 보였습니다. 이는 Gen-AI 분야의 효율성 향상에 큰 기여를 할 것으로 기대됩니다.

Gen-AI 시대의 숨겨진 비효율성: 수동 튜닝의 함정

오늘날, 여러 머신러닝 모델 호출, 툴/API 호출, 데이터 검색 또는 일반 코드 실행을 포함하는 Gen-AI 워크플로우는 대부분 수동으로 조정됩니다. 이는 시간이 많이 걸리고 오류가 발생하기 쉬운 어려운 작업입니다. Zijian He, Reyna Abhyankar, Vikranth Srivatsa, Yiying Zhang 등이 발표한 논문 "Cognify: Supercharging Gen-AI Workflows With Hierarchical Autotuning"은 바로 이러한 문제점에 대한 해결책을 제시합니다.

Cognify: Gen-AI 워크플로우의 혁신적인 자동 튜닝

연구진은 Gen-AI 워크플로우에 대한 구조, 연산자 및 프롬프트 변경을 통해 효율성을 높일 수 있다는 통찰력을 바탕으로, AdaSeek이라는 적응형 계층적 검색 알고리즘을 개발했습니다. AdaSeek은 사용자가 지정한 총 검색 예산을 기반으로 워크플로우 튜닝 방법을 여러 계층으로 구성하고, 각 계층의 복잡성에 따라 예산을 분배합니다. 계층적 검색 과정에서 AdaSeek은 워크플로우 수준의 평가 결과를 바탕으로 유용성이 낮은 설정에서 유망한 설정으로 검색 예산을 재분배하여 최적의 성능을 찾아냅니다.

놀라운 성과: 최대 10배 비용 절감 및 2.7배 속도 향상

AdaSeek 알고리즘을 기반으로 구축된 Cognify는 RAG 기반 QA 및 text-to-SQL 변환 등 6가지 유형의 워크플로우를 통해 평가되었습니다. 그 결과, Cognify는 생성 품질을 최대 2.8배 향상시키고, 실행 비용을 최대 10배 절감하며, 종단 간 지연 시간을 2.7배 단축하는 놀라운 성과를 달성했습니다. 이는 Gen-AI 워크플로우의 효율성을 획기적으로 개선할 수 있는 잠재력을 보여줍니다.

미래를 향한 전망: 더욱 발전된 Gen-AI 시스템 기대

Cognify의 등장은 단순히 Gen-AI 워크플로우의 자동 튜닝을 넘어, 더욱 효율적이고 경제적인 Gen-AI 시스템 구축을 위한 중요한 발걸음입니다. 앞으로 AdaSeek 알고리즘의 발전과 Cognify의 활용 확장을 통해 Gen-AI 기술의 발전에 큰 기여를 할 것으로 기대됩니다. 이 연구는 Gen-AI 분야의 효율성 향상과 비용 절감에 대한 새로운 가능성을 제시하며, 미래의 Gen-AI 시스템 발전에 중요한 영향을 미칠 것으로 예상됩니다.