BaxBench: LLM이 정확하고 안전한 백엔드를 생성할 수 있을까?

BaxBench는 LLM의 백엔드 애플리케이션 생성 능력을 평가하는 새로운 벤치마크입니다. 실험 결과, LLM은 기능성과 보안성 면에서 상당한 한계를 드러냈으며, 특히 인기 없는 프레임워크에서는 성능이 더욱 저조했습니다. 이는 LLM을 이용한 안전하고 자율적인 소프트웨어 개발을 위해서는 지속적인 연구개발이 필요함을 시사합니다.

LLM의 새로운 도전과제: 백엔드 애플리케이션 생성

최근 대규모 언어 모델(LLM)이 함수 수준의 코드 생성, 코드 수정, 알고리즘 코딩 문제 해결 등에서 놀라운 능력을 보여주고 있습니다. 하지만 진정한 자동화를 위해서는 LLM이 자체적으로 작동하는, 제품 수준의 애플리케이션 모듈을 생성할 수 있어야 합니다.

이러한 맥락에서 Mark Vero를 비롯한 8명의 연구자는 새로운 평가 기준, BaxBench를 제시했습니다. BaxBench는 백엔드 애플리케이션 생성을 위한 392개의 과제로 구성되어 있으며, 백엔드에 초점을 맞춘 이유는 다음과 같습니다.

• 실용성: 현대 웹 및 클라우드 소프트웨어의 핵심 구성 요소
• 복잡성: 원하는 기능을 구현하기 위해 여러 함수와 파일이 필요
• 보안 중요성: 신뢰할 수 없는 제3자에게 노출되므로 배포 시 공격을 방지하는 안전한 솔루션이 필수적

BaxBench는 포괄적인 테스트 케이스를 통해 생성된 애플리케이션의 기능성을 검증하고, 엔드투엔드 악용을 실행하여 보안 취약성을 평가합니다. 실험 결과는 현재 LLM의 기능성과 보안성 모두에 대한 중요한 한계를 보여줍니다.

• 최고 성능 모델인 OpenAI o1조차 코드 정확도는 겨우 60%에 불과했습니다.
• 평균적으로 생성된 프로그램의 절반 이상에서 보안 취약점이 발견되었습니다.
• 인기 없는 백엔드 프레임워크에서는 정확하고 안전한 애플리케이션 생성이 더욱 어려웠습니다.

BaxBench는 LLM을 이용한 자율적이고 안전한 소프트웨어 개발을 위한 중요한 이정표가 될 것입니다. 하지만 이번 연구 결과는 LLM이 아직 갈 길이 멀다는 것을 보여줍니다. 더욱 정확하고 안전한 코드 생성을 위한 LLM의 발전이 시급하며, BaxBench는 이러한 발전을 촉진하는 중요한 역할을 할 것입니다. 앞으로의 연구가 주목됩니다. 🤔