BaxBench: LLM이 정확하고 안전한 백엔드를 생성할 수 있을까?

BaxBench 벤치마크는 LLM의 백엔드 애플리케이션 생성 능력을 평가하여 기능성과 보안성 측면에서의 한계를 드러냈습니다. 이는 LLM 기반의 자율적이고 안전한 소프트웨어 개발을 위한 향후 연구 방향을 제시합니다.

꿈과 현실 사이: LLM의 백엔드 애플리케이션 생성 능력을 가늠하다

자동 프로그래밍은 오랜 숙제였습니다. 최근 대규모 언어 모델(LLM)이 함수 단위 코드 생성, 코드 수정, 알고리즘 코딩 문제 해결 등에서 놀라운 능력을 보여주고 있습니다. 하지만 진정한 자동화를 위해서는 LLM이 자체 실행 가능한, 즉 생산 수준의 애플리케이션 모듈을 생성해야 합니다.

이러한 숙제에 도전장을 던진 연구가 있습니다. 바로 BaxBench입니다. Mark Vero를 비롯한 8명의 연구진이 개발한 BaxBench는 백엔드 애플리케이션 생성을 위한 392개의 과제로 구성된 새로운 평가 벤치마크입니다. 백엔드에 집중한 이유는 무엇일까요?

• 실용성: 대부분의 웹 및 클라우드 소프트웨어의 핵심 구성 요소
• 난이도: 원하는 기능을 구현하려면 여러 함수와 파일이 필요
• 보안 중요성: 신뢰할 수 없는 제3자에게 노출되어 보안 취약점 발생 가능성이 높음

BaxBench는 생성된 애플리케이션의 기능성을 포괄적인 테스트 사례로 검증하고, 종단간 악용을 통해 보안 취약성을 평가합니다. 실험 결과는 현재 LLM의 기능성과 보안성에 대한 중요한 한계를 드러냅니다.

• 정확성 부족: 최고 성능 모델인 OpenAI의 o1조차 코드 정확성에서 60%에 불과했습니다. 이는 아직 갈 길이 멀다는 것을 의미합니다.
• 보안 취약성: 평균적으로 생성된 정확한 프로그램의 절반 이상에서 보안 악용이 성공적으로 실행되었습니다. 보안은 여전히 LLM의 발목을 잡는 중요한 문제입니다.
• 프레임워크 의존성: 인기 없는 백엔드 프레임워크에서는 정확하고 안전한 애플리케이션 생성이 더욱 어려웠습니다. 이는 LLM의 일반화 능력에 대한 질문을 던집니다.

BaxBench는 LLM을 이용한 자율적이고 안전한 소프트웨어 개발을 위한 중요한 이정표를 제시합니다. 하지만 60%라는 낮은 정확도와 높은 보안 위험성은 LLM 기술의 성숙도를 가늠하는 중요한 지표입니다. 앞으로 LLM이 진정한 자동화 시대를 열기 위해서는 기능성과 보안성을 모두 만족하는 더욱 발전된 기술이 필요할 것입니다. BaxBench는 이러한 발전을 촉진하는 중요한 촉매제가 될 것입니다. LLM의 미래는 BaxBench와 같은 엄격한 평가와 지속적인 연구 개발에 달려 있습니다.