Goal2Story: 개인정보 보호를 고려한 소규모 LLM 기반의 다중 에이전트 함대를 활용한 요구사항 도출 혁신

본 기사는 소규모 LLM 기반의 다중 에이전트 시스템 Goal2Story에 대한 연구 결과를 소개합니다. 비용 효율성과 데이터 보호를 고려하여 Impact Mapping 프레임워크를 활용하며, 새로운 데이터셋과 평가 지표를 통해 뛰어난 성능을 입증했습니다. 대규모 LLM 기반 시스템을 능가하는 성능과 잠재적 요구사항 식별 능력을 통해 요구사항 도출 분야의 혁신을 이끌 것으로 기대됩니다.

요구사항 변화의 시대, AI가 답이다: Goal2Story 소개

급변하는 요구사항에 맞춰 민첩한 개발이 필수적인 현 시대에서, 목표 중심의 요구사항 도출(RE)은 매우 중요하지만 어려운 과제입니다. Xinkai Zou, Yan Liu, Xiongbo Shi, Chen Yang 등 연구진이 발표한 논문은 이러한 어려움을 해결하기 위해 Goal2Story 라는 혁신적인 시스템을 제시합니다.

Goal2Story는 비용 효율적인 소규모 LLM(sLLM)을 기반으로 한 다중 에이전트 시스템입니다. 기존의 대규모 LLM 사용의 비용 문제와 데이터 보호의 필요성을 동시에 해결하는 획기적인 시도입니다. 특히, Impact Mapping(IM) 프레임워크를 활용하여 목표에서 사용자 스토리로의 효율적인 전환을 지원합니다. 이는 단순한 기능적 요구사항 도출을 넘어, 목표 달성을 위한 사용자 스토리 생성 전 과정을 아우르는 혁신적인 접근입니다.

1000개 이상의 사용자 스토리 데이터셋, StorySeek

Goal2Story의 성능 평가를 위해 연구진은 1,000개 이상의 사용자 스토리, 해당 목표, 프로젝트 정보를 포함하는 StorySeek 데이터셋을 새롭게 구축했습니다. 데이터셋 구축 방법 또한 논문에 자세히 제시되어 있으며, 향후 관련 연구의 발전에 큰 기여를 할 것으로 기대됩니다.

새로운 평가 지표: 정확성과 품질 동시 확보

단순한 기능 평가를 넘어, 생성된 사용자 스토리의 정확성과 품질을 종합적으로 평가하기 위해, 연구진은 Factuality Hit Rate (FHR) 과 Quality And Consistency Evaluation (QuACE) 라는 두 가지 새로운 평가 지표를 제시했습니다. FHR은 생성된 사용자 스토리가 데이터셋과 일치하는 정도를 측정하고, QuACE는 사용자 스토리의 품질을 평가합니다. 이를 통해 Goal2Story의 성능을 객관적으로 검증하고, 개선 방향을 제시할 수 있습니다.

놀라운 성능: 대규모 LLM 기반 시스템 능가

실험 결과, Goal2Story는 강력한 LLM을 사용하는 기존의 Super-Agent 시스템보다 뛰어난 성능을 보였습니다. 특히, Chain of Thought (CoT) 와 Agent Profile 을 적용함으로써 성능이 더욱 향상되었으며, 잠재적인 요구사항을 식별하는 능력 또한 입증되었습니다.

결론: 요구사항 도출의 새로운 지평을 열다

Goal2Story는 비용 효율성과 데이터 보호라는 중요한 요소를 고려하면서도, 목표 중심의 요구사항 도출에 있어 뛰어난 성능을 보여주는 혁신적인 시스템입니다. 새로운 데이터셋과 평가 지표의 제시는 향후 관련 연구의 발전에도 큰 영향을 미칠 것으로 예상됩니다. Goal2Story는 요구사항 도출 분야에 새로운 지평을 열고, 민첩한 개발 환경에서의 효율성을 극대화할 수 있는 가능성을 제시합니다.