구글의 에이전트 기반 버그 수정 시스템: Passerine의 도전과 성과


구글 연구팀은 실제 산업 환경의 버그 데이터셋을 활용하여 에이전트 기반 프로그램 수리 시스템 Passerine의 성능을 평가했습니다. 자동 감지된 버그에 대해서는 높은 성공률을 보였지만, 사람이 보고한 버그에 대한 성능 향상이 필요함을 시사하는 결과를 얻었습니다. 이 연구는 LLM 기반의 에이전트 기반 프로그램 수리 기술의 실용성을 검증하는 중요한 단계입니다.

related iamge

최근 급부상하고 있는 LLM(대규모 언어 모델) 기반의 에이전트 기반 프로그램 수리 기술. 이 기술은 계획, 도구 사용, 코드 생성 능력을 결합하여 복잡한 버그를 자동으로 해결하는 혁신적인 접근 방식입니다. 기존에는 오픈소스 프로젝트인 SWE-Bench를 중심으로 연구가 진행되었지만, 구글 연구팀은 한 단계 더 나아가 실제 산업 환경에서의 적용 가능성을 평가하기 위해 과감한 시도를 감행했습니다.

Pat Rondon 등을 포함한 구글 연구팀은 구글의 이슈 추적 시스템에서 수집한 178개의 버그를 포함하는 새로운 평가 데이터셋을 구축했습니다. 이 데이터셋에는 사람이 보고한 버그 78개와 시스템이 자동으로 감지한 버그 100개가 포함되어 다양한 유형의 버그를 포괄적으로 다룹니다. 기존 연구와의 차별점은 바로 이 데이터셋의 구성입니다. 구글의 데이터셋은 SWE-Bench와 비교하여 언어 다양성, 버그 크기, 코드 변경 범위 등에서 상당한 차이를 보이는 것으로 나타났습니다. 이는 실제 산업 현장에서 발생하는 버그의 특징을 보다 정확하게 반영한다는 점에서 큰 의미를 지닙니다.

연구팀은 SWE-Agent와 유사한 Passerine이라는 에이전트를 개발하여 구글의 개발 환경에서 실험을 진행했습니다. Gemini 1.5 Pro를 활용하여 20개의 궤적 샘플을 생성한 결과, Passerine은 **자동으로 감지된 버그의 73%**에 대해 버그 테스트를 통과하는 패치를 생성하는 성과를 보였습니다. 하지만 사람이 보고한 버그에 대한 성공률은 25.6%에 그쳐 향상의 여지가 있음을 시사합니다. 수동 검토 결과, 자동 감지된 버그 중 43%, 사람이 보고한 버그 중 **17.9%**는 실제 패치와 의미적으로 동등한 패치를 적어도 하나 이상 생성한 것으로 확인되었습니다.

이번 연구는 실제 산업 환경을 반영한 데이터셋을 기반으로 에이전트 기반 프로그램 수리 기술의 실효성을 객관적으로 평가했다는 점에서 큰 의의를 갖습니다. Passerine의 성과는 아직 완벽하지 않지만, LLM 기반의 에이전트 기반 프로그램 수리 기술이 향후 소프트웨어 개발의 생산성 향상에 크게 기여할 가능성을 보여주는 중요한 결과입니다. 앞으로의 연구에서는 사람이 보고한 버그에 대한 수리 성공률을 높이고, 더욱 정교하고 안정적인 에이전트 개발을 통해 실제 산업 현장에 본격적으로 적용될 수 있도록 노력해야 할 것입니다. 이 연구는 단순히 기술적인 발전을 넘어, AI가 소프트웨어 개발의 패러다임을 어떻게 변화시킬 수 있는지 보여주는 중요한 사례로 평가될 수 있습니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Evaluating Agent-based Program Repair at Google

Published:  (Updated: )

Author: Pat Rondon, Renyao Wei, José Cambronero, Jürgen Cito, Aaron Sun, Siddhant Sanyam, Michele Tufano, Satish Chandra

http://arxiv.org/abs/2501.07531v1