데이터베이스 질의 기능을 갖춘 LLM: 놀라운 성능 향상과 그 한계

본 연구는 대규모 언어 모델(LLM)이 함수 호출을 통해 데이터베이스를 질의하는 효과성을 평가한 연구입니다. 8개의 LLM을 사용한 실험 결과, Claude 3.5 Sonnet이 가장 높은 정확도를 달성했지만, 텍스트 속성 필터링 등 개선이 필요한 부분도 발견되었습니다. 연구 결과는 Github에 공개되어 있으며, LLM의 데이터베이스 질의 능력 향상에 기여할 것으로 예상됩니다.

최근 대규모 언어 모델(LLM)의 발전은 눈부십니다. 특히 외부 도구와의 통합을 통해 그 능력은 더욱 가속화되고 있는데요, 그중에서도 데이터베이스 질의는 가장 효과적인 통합 방식 중 하나로 떠오르고 있습니다. 개인 정보 또는 지속적으로 업데이트되는 데이터에 접근할 수 있게 해주기 때문입니다.

하지만, 함수 호출을 통한 외부 도구와 LLM의 인터페이싱은 일반적이지만, 데이터베이스 질의 도구로서의 활용은 아직 미개척 분야였습니다. Connor Shorten 등 12명의 연구원들은 이러한 문제의식을 가지고, 데이터베이스 질의를 위한 새로운 도구 정의를 제안했습니다. 이 도구는 데이터 접근, 검색 질의, 필터, 집계 및 그룹 연산을 통한 결과 변환 등을 통합적으로 처리하도록 설계되었습니다.

연구팀은 5개 모델 계열에 걸쳐 8개의 LLM을 사용하여 이 도구의 효과를 평가했습니다. Gorilla LLM 프레임워크를 활용하여 합성 데이터베이스 스키마와 질의를 생성하는 새로운 파이프라인을 개발했고, 예측된 질의 API와 실제 질의 API의 정확도 일치를 주요 평가 지표로 삼았습니다.

결과는 놀라웠습니다. Claude 3.5 Sonnet이 74.3%의 정확도 일치 점수로 가장 높은 성능을 달성했고, 그 뒤를 GPT-4o mini(73.7%), GPT-4o(71.8%)가 이었습니다. 하지만 자세히 살펴보면, LLM은 부울 속성에 대한 연산에는 매우 효과적이었지만, 텍스트 속성 필터에는 어려움을 겪는다는 것을 알 수 있었습니다. 또한, GPT-4o와 같은 고성능 모델은 다양한 사용 사례에서 견고한 결과를 보였지만, 저성능 모델은 사용 사례에 따라 성능 차이가 상당했습니다.

연구팀은 병렬 도구 호출, 근거 추가, 데이터베이스 컬렉션별 별도 도구 사용, 구조화된 출력을 통한 도구 호출 등 추가적인 실험을 통해 성능 향상 가능성을 확인했습니다. 이 연구는 LLM이 함수 호출을 통해 데이터베이스를 질의하는 것이 매우 효과적임을 보여주는 동시에, 여전히 개선의 여지가 많다는 것을 시사합니다. 연구팀은 실험 코드와 결과를 Github(github.com/weaviate/gorilla)에 공개하여 다른 연구자들의 참여를 독려하고 있습니다.

이 연구는 LLM의 데이터베이스 질의 능력을 한 단계 끌어올렸다는 점에서 의미가 있으며, 앞으로 더욱 발전된 기술을 통해 더욱 정확하고 효율적인 데이터 활용이 가능해질 것으로 기대됩니다. 하지만, 텍스트 필터링 등 여전히 개선해야 할 부분이 존재한다는 점을 명심해야 합니다. 이러한 한계를 극복하기 위한 지속적인 연구가 필요할 것입니다.