RepoTransBench: 현실 세계 코드 번역의 도전과 미래
RepoTransBench라는 새로운 벤치마크를 통해 11개의 최첨단 LLM을 평가한 결과, 레포지토리 수준 코드 번역의 자동화는 아직 초기 단계이며, 향상된 기술과 접근법이 필요함을 확인했습니다.

소프트웨어 개발의 세계에서 코드 번역은 점점 더 중요해지고 있습니다. 특히, 전체 코드 저장소(repository)를 다른 프로그래밍 언어로 변환하는 '레포지토리 수준 코드 번역'은 높은 효율성을 약속하지만, 그 기술적 난이도 또한 상당합니다.
Yanli Wang을 비롯한 11명의 연구자들은 최근 발표한 논문에서 이러한 문제를 해결하기 위해 새로운 벤치마크, RepoTransBench를 제안했습니다. 기존의 코드 조각이나 함수 단위 평가를 넘어, 실제 세계의 복잡한 코드 저장소 전체를 대상으로 평가하는 획기적인 시도입니다. 자동 실행 가능한 테스트 세트를 포함하여, 실제 상황을 더욱 정확하게 반영합니다.
연구진은 11개의 최첨단 대규모 언어 모델(LLM)을 RepoTransBench로 평가했습니다. 그 결과는 놀라웠습니다. 단 한 번의 시도로 테스트를 성공하는 비율인 Success@1은 최고 성능 모델에서도 **겨우 7.33%**에 그쳤습니다. 이는 레포지토리 수준 코드 번역의 자동화가 아직은 요원함을 보여줍니다.
하지만 연구는 여기서 멈추지 않았습니다. 연구진은 LLMs에 오류 피드백을 제공하여 반복적인 디버깅을 수행했습니다. 이를 통해 Success@1은 평균 7.09% 향상되었지만, 최고 성능 모델의 Success@1조차 **21%**에 머물렀습니다. 여전히 실용적인 수준과는 거리가 멉니다.
RepoTransBench는 단순한 벤치마크를 넘어, 현재 LLM 기반 코드 번역 기술의 한계를 명확히 보여주는 중요한 이정표입니다. 연구진은 상세한 오류 분석을 통해 LLMs의 부족한 점을 지적하고, 향후 연구 방향을 제시했습니다. 이는 AI 기반 코드 번역 기술의 발전에 중요한 참고 자료가 될 것입니다. RepoTransBench는 실용적인 코드 번역 시스템 개발을 위한 중요한 도전 과제를 제시하며, 동시에 이 분야의 지속적인 발전을 위한 촉매제 역할을 할 것으로 기대됩니다.
결론: RepoTransBench는 레포지토리 수준 코드 번역의 현실적인 어려움을 보여주는 중요한 벤치마크이며, 향상된 LLM과 새로운 접근법 개발의 필요성을 강조합니다. 앞으로 더욱 발전된 기술과 연구가 기대됩니다.
Reference
[arxiv] RepoTransBench: A Real-World Benchmark for Repository-Level Code Translation
Published: (Updated: )
Author: Yanli Wang, Yanlin Wang, Suiquan Wang, Daya Guo, Jiachi Chen, John Grundy, Xilin Liu, Yuchi Ma, Mingzhi Mao, Hongyu Zhang, Zibin Zheng
http://arxiv.org/abs/2412.17744v1