챗GPT vs. Gemini: 요구사항 엔지니어링의 미래를 엿보다
본 연구는 ChatGPT와 Gemini의 요구사항 엔지니어링 분야 적용 가능성을 다양한 벤치마크 데이터셋을 통해 평가했습니다. Gemini는 ChatGPT보다 정교한 프롬프트 엔지니어링을 필요로 하며, 질의응답을 제외한 대부분의 작업에서 기존 최첨단 모델보다 성능이 다소 떨어졌습니다.

Summra Saleem, Muhammad Nabeel Asim, Ludger Van Elst, Andreas Dengel이 공동으로 진행한 최근 연구는 ChatGPT와 Gemini와 같은 생성형 언어 모델이 요구사항 엔지니어링 분야에 어떻게 적용될 수 있는지에 대한 흥미로운 통찰력을 제공합니다. 기존의 언어 모델들이 소프트웨어 엔지니어링 분야에서 활발히 연구되었지만, ChatGPT와 Gemini의 잠재력은 아직 완전히 탐구되지 않았다는 점에 착안하여 이루어진 연구입니다.
연구팀은 4가지 공개 벤치마크 데이터셋(Pure, PROMISE, REQuestA, Aerospace)을 사용하여 다양한 요구사항 엔지니어링 작업(요구사항 추출, 분류, NER 태깅, 질의응답)에서 두 모델의 성능을 비교 평가했습니다. 각 데이터셋은 다양한 크기와 특성을 가지고 있으며, 다양한 유형의 요구사항 엔지니어링 과제를 충실하게 반영합니다. 특히, 전문가 수준의 지식이 담긴 프롬프트가 모델의 예측 정확도에 미치는 영향을 심층적으로 분석했다는 점이 눈길을 끕니다.
흥미로운 결과들이 도출되었습니다. Gemini는 ChatGPT보다 정확한 예측을 위해 더욱 세밀한 프롬프트 엔지니어링이 필요하다는 것이 밝혀졌습니다. 이는 Gemini가 더욱 복잡한 구조를 가지고 있거나, 프롬프트에 대한 민감도가 더 높다는 것을 시사합니다. 또한, 요구사항 추출 작업에서 최첨단 F1 점수는 0.86인 반면, ChatGPT와 Gemini는 각각 0.76과 0.77을 기록했습니다. 요구사항 분류 작업에서도 최첨단 모델의 F1 점수는 0.96인데 비해, 두 모델은 0.78에 그쳤습니다. NER 태깅 작업에서는 최첨단 모델이 0.92의 F1 점수를 기록한 반면, ChatGPT와 Gemini는 각각 0.36과 0.25라는 상대적으로 낮은 성능을 보였습니다.
하지만 모든 작업에서 성능이 저조했던 것은 아닙니다. 질의응답 작업에서는 ChatGPT와 Gemini가 각각 0.91과 0.88의 F1 점수를 기록하여 최첨단 모델(0.90)과 비슷하거나 그 이상의 성능을 보였습니다. 이는 생성형 언어 모델이 특정 유형의 요구사항 엔지니어링 작업에 효과적으로 적용될 수 있음을 시사합니다.
결론적으로, 이 연구는 ChatGPT와 Gemini가 요구사항 엔지니어링 분야에 적용될 가능성을 보여주는 동시에, 모델의 성능을 극대화하기 위해서는 신중한 프롬프트 엔지니어링이 필수적임을 강조합니다. 향후 연구에서는 더욱 다양한 데이터셋과 작업에 대한 연구가 필요하며, 모델의 성능 향상을 위한 프롬프트 엔지니어링 기법에 대한 심도 있는 연구가 필요할 것으로 예상됩니다. 이러한 연구는 소프트웨어 개발 프로세스의 효율성을 높이고, 더 나은 소프트웨어 개발을 위한 중요한 단계가 될 것입니다. 🙌
Reference
[arxiv] Generative Language Models Potential for Requirement Engineering Applications: Insights into Current Strengths and Limitations
Published: (Updated: )
Author: Summra Saleem, Muhammad Nabeel Asim, Ludger Van Elst, Andreas Dengel
http://arxiv.org/abs/2412.00959v1