LLMs가 인간 평가자를 대체할 수 있을까요? 소프트웨어 엔지니어링 분야에서의 실증 연구

본 연구는 LLM 기반 자동 평가 시스템인 LLM-as-a-judge의 성능을 실증적으로 분석하여, 특히 출력 기반 방법론이 인간 평가자에 근접한 성능을 보임을 확인했습니다. 소프트웨어 엔지니어링 분야에서 LLM의 활용 가능성과 한계를 제시하며, 향후 연구 방향을 제시합니다.

최근 대규모 언어 모델(LLM)이 코드 생성 등 다양한 소프트웨어 엔지니어링(SE) 작업에 활용되면서 SE 작업의 자동화가 크게 진전되었습니다. 하지만 LLM이 생성한 코드와 텍스트의 품질 평가는 여전히 어려운 과제입니다. 흔히 사용되는 Pass@k 지표는 광범위한 단위 테스트와 구성된 환경을 필요로 하고, 높은 인건비가 소요되며, LLM이 생성한 텍스트 평가에는 적합하지 않습니다. 단어 수준의 유사성만을 측정하는 BLEU와 같은 기존 지표 또한 한계를 드러내고 있습니다.

이에 따라, LLM-as-a-judge 라는 새로운 평가 방법이 등장했습니다. 이는 고품질의 참조 답변에 의존하지 않고 인간의 평가를 더 잘 모방한다고 주장됩니다. 그러나 SE 작업에서 인간과 얼마나 일치하는지는 아직 탐구되지 않았습니다.

Wang 등(2025)의 연구는 LLM-as-a-judge 방법론의 인간 판단과의 일치도를 실증적으로 탐구했습니다. 연구진은 범용 LLM을 사용하는 7가지 LLM-as-a-judge 방법과 평가를 위해 특별히 미세 조정된 2가지 LLM을 선정했습니다. 코드 변환, 코드 생성, 코드 요약 등 세 가지 최근 SE 데이터셋에 대해 LLM 응답을 생성하고 수동으로 점수를 매긴 후, 이러한 방법을 사용하여 각 응답을 평가했습니다. 마지막으로, 이러한 방법으로 생성된 점수를 인간 평가와 비교했습니다.

결과는 놀라웠습니다. 출력 기반 방법론은 코드 변환과 생성에서 인간 점수와 81.32 및 68.51의 높은 Pearson 상관관계를 달성하여 인간에 가까운 평가를 수행했습니다. 이는 기존 지표 중 최고 수준인 ChrF++ (34.23 및 64.92)을 훨씬 능가하는 결과입니다. 출력 기반 방법론은 LLM이 직접 판단을 출력하도록 유도하며, 인간 점수 패턴과 유사한 균형 잡힌 점수 분포를 보입니다.

이 연구는 LLM이 소프트웨어 엔지니어링 분야에서 인간 평가자를 완전히 대체할 수 있는 단계는 아니지만, 특정 평가 방식을 통해 인간 수준의 평가 성능에 근접할 수 있음을 보여줍니다. 이는 향후 SE 작업 자동화에 중요한 시사점을 제공합니다. 하지만, LLM-as-a-judge 방법론의 한계와 개선 방향에 대한 추가 연구가 필요합니다. 🤖 🤔