코드 에이전트 평가의 혁신: SetUpAgent과 확장된 벤치마크

본 기사는 코드 에이전트 성능 평가를 위한 자동화 시스템 SetUpAgent과 이를 통해 생성된 새로운 벤치마크 데이터셋(SWEE-Bench, SWA-Bench)에 대한 연구 결과를 소개합니다. 기존 SWE-Bench의 한계를 극복하고 더욱 현실적인 평가 기준을 제시하는 이 연구는 코드 에이전트 개발의 발전에 중요한 의미를 갖습니다.

최근 코드 에이전트 개발 분야는 급속도로 발전하고 있으며, 이러한 발전을 측정하고 새로운 개발 방향을 제시하기 위한 신뢰할 수 있는 성능 측정 지표가 절실히 필요합니다. SWE-Bench의 등장은 이러한 요구를 반영하는 중요한 사례입니다. SWE-Bench는 코드 에이전트가 전체 저장소를 컨텍스트로 하여 GitHub 이슈에 대한 패치를 생성하고, 이를 평가하는 벤치마크입니다.

하지만 SWE-Bench는 역사적으로 정확한 실행 환경을 설정하는 데 상당한 수동 작업이 필요하여, 고려 대상 저장소의 수가 겨우 12개에 불과했습니다. 이처럼 적은 수의 저장소만으로는 실제 상황을 제대로 반영하지 못할 가능성이 높아, 개발 노력을 잘못된 방향으로 이끌 수 있습니다.

Konstantinos Vergopoulos, Mark Niklas Müller, Martin Vechev 연구팀은 이러한 문제를 해결하기 위해 SetUpAgent을 개발했습니다. SetUpAgent은 역사적으로 정확한 의존성 설정, 테스트 실행, 결과 파싱을 완전 자동화하는 시스템입니다. SetUpAgent을 사용하여 연구팀은 두 개의 새로운 데이터셋을 생성했습니다.

• SWEE-Bench: SWE-Bench를 확장한 버전으로, 수백 개의 저장소를 포함합니다.
• SWA-Bench: 라이브러리가 아닌 애플리케이션에 중점을 둔 벤치마크입니다.

연구 결과, SWEE-Bench와 SWA-Bench는 SWE-Bench와 비교하여 상당한 차이를 보였습니다. 이슈 설명의 질과 상세 수준이 낮고, 수정 복잡도가 높았으며, 무엇보다도 에이전트의 성공률이 최대 40%까지 낮았습니다. 이러한 결과는 코드 에이전트 개발에 대한 새로운 시각을 제시하며, 향후 연구 방향을 제시합니다. SetUpAgent의 개발은 코드 에이전트 평가의 혁신을 가져왔고, 더욱 현실적이고 정확한 평가 기준을 마련하는 데 크게 기여할 것으로 예상됩니다. 앞으로 더욱 다양하고 방대한 데이터셋을 기반으로 코드 에이전트의 성능을 평가하고 발전시켜 나가는 것이 중요할 것입니다.