솔리디티 스마트 계약의 미래를 위한 획기적인 벤치마크, SolBench 등장!

SolBench는 솔리디티 스마트 계약 코드 완성 및 복구의 기능적 정확성을 평가하기 위한 새로운 벤치마크입니다. 기존 지표의 한계를 극복하고, 검색 증강 코드 복구 프레임워크를 통해 정확성을 높이며 계산 비용을 절감하는 혁신적인 성과를 보였습니다.

솔리디티 스마트 계약의 기능적 정확성, 이제 SolBench가 책임진다!

블록체인 기술의 핵심, 스마트 계약. 일단 배포되면 변경이 불가능한 스마트 계약의 특성상, 기능적 정확성은 그 무엇보다 중요합니다. 하지만 지금까지 솔리디티(Solidity), 즉 스마트 계약의 주요 언어에 대한 코드 완성 모델의 기능적 정확성을 제대로 평가할 벤치마크는 부족했습니다. BLEU 같은 기존 지표는 스마트 계약의 기능적 정확성을 정확하게 평가하지 못하는 한계를 가지고 있었죠.

그 한계를 뛰어넘는 혁신적인 벤치마크, SolBench가 등장했습니다!

중국과학원 소속 Zaoyu Chen을 비롯한 7명의 연구자들은 1,155개의 이더리움 배포 계약에서 추출한 4,178개의 함수를 포함하는 SolBench를 개발했습니다. 이 벤치마크는 최첨단 모델들을 테스트하여 솔리디티 함수가 컨텍스트 정의 변수와 인터페이스에 의존하기 때문에 컨텍스트 없이 정확한 코드를 생성하는 데 어려움이 있음을 보여주었습니다.

문제 해결을 위한 획기적인 아이디어: 검색 증강 코드 복구 프레임워크

연구팀은 이 문제를 해결하기 위해 검색 증강 코드 복구 프레임워크를 제안했습니다. 이 프레임워크는 실행기(executor)가 기능적 정확성을 검증하고, 필요한 경우 LLM(대규모 언어 모델)이 실행기 추적 정보를 바탕으로 검색된 코드 조각을 사용하여 코드를 복구하는 방식입니다. 이는 컨텍스트 부족 문제를 효과적으로 해결하는 혁신적인 접근 방식입니다.

다양한 LLM 모델의 성능 평가: 놀라운 결과

연구팀은 다양한 크기와 종류의 오픈소스 및 클로즈드소스 LLM들을 대상으로 포괄적인 평가를 수행했습니다. 그 결과, 코드 복구 및 검색 기법이 스마트 계약 완성의 정확성을 효과적으로 높이고, 동시에 계산 비용을 줄이는 것으로 나타났습니다. 이는 단순히 코드를 생성하는 것을 넘어, 그 정확성을 보장하는 데 초점을 맞춘 획기적인 결과입니다.

SolBench는 스마트 계약 개발의 신뢰성을 한 단계 끌어올리는 혁신적인 도약입니다. 앞으로 더욱 안전하고 정확한 스마트 계약 개발의 시대를 열어줄 것으로 기대됩니다.