MutaGReP: 코드 활용을 위한 실행 없는 저장소 기반 계획 검색의 혁신

MutaGReP은 LLM의 제한된 컨텍스트 창 문제를 해결하여, 방대한 코드 저장소에서 필요한 부분만 활용하여 코딩 작업의 효율성과 성능을 크게 향상시키는 혁신적인 계획 검색 방법입니다. LongCodeArena 벤치마크에서 GPT-4o와 유사한 성능을 보였으며, 다른 LLM에서도 성능 향상을 가져왔습니다.

LLM의 한계를 뛰어넘는 혁신적인 계획 검색: MutaGReP 소개

인간이 LLM에게 방대한 코드 저장소의 기능을 활용한 코딩 작업을 요청할 때, 저장소의 정보를 LLM에 어떻게 효과적으로 제공할 수 있을까요? 저장소 전체를 LLM의 컨텍스트 창에 추가하는 방법이 있지만, 대부분의 작업은 저장소의 일부 기능만 필요하며, 긴 컨텍스트는 LLM의 추론 능력을 저해하고 컨텍스트 창의 크기는 무한하지 않다는 문제가 있습니다.

Zaid Khan을 비롯한 연구진은 인간이 방대한 저장소에서 적절한 기능을 선택하고 작업 해결 계획을 세우는 능력을 모방하여 이 문제에 대한 혁신적인 해결책을 제시했습니다. 바로 MutaGReP(Mutation-guided Grounded Repository Plan Search) 입니다.

MutaGReP는 사용자 요청을 코드베이스에 기반한 자연어 단계로 분해하는 계획을 검색하는 접근 방식입니다. 계획 공간에서 신경망 트리 검색을 수행하고, 계획을 변경하고 심볼 검색기를 사용하여 기반을 다짐으로써 동작합니다. 핵심은 저장소 전체가 아닌, 필요한 부분만을 선택적으로 활용하는 것입니다.

놀랍게도, MutaGReP는 LongCodeArena 벤치마크에서 GPT-4o의 성능에 필적하는 결과를 보였습니다. GPT-4o가 저장소 전체를 컨텍스트 창에 채운 상태에서 달성한 코딩 성능과 유사한 수준을, MutaGReP의 계획을 사용한 GPT-4o는 컨텍스트 창의 5% 미만만 사용하여 달성했습니다. 더 나아가, MutaGReP가 생성한 계획을 사용하여 Qwen 2.5 Coder 32B 및 72B는 GPT-4o의 성능(저장소 전체 컨텍스트 사용)과 일치하는 결과를 보였고, 가장 어려운 LongCodeArena 작업에서도 성과를 거두었습니다. 이는 LLM의 성능을 향상시키는 데 있어 MutaGReP의 잠재력을 보여주는 중요한 결과입니다.

결론적으로, MutaGReP는 LLM의 컨텍스트 창 제약을 극복하고 효율적인 계획 검색을 통해 코딩 작업의 성능을 획기적으로 향상시키는 혁신적인 기술입니다. 이는 단순한 기술적 개선을 넘어, LLM의 활용 범위를 넓히고 새로운 가능성을 열어줄 것으로 기대됩니다. 자세한 내용은 프로젝트 페이지를 참조하십시오.