HLS-Eval: LLM 기반 고수준 합성 설계 평가의 새로운 지평을 열다

HLS-Eval은 LLM을 활용한 고수준 합성(HLS) 설계 과제를 위한 최초의 종합적인 벤치마크 및 평가 프레임워크입니다. 94개의 고유 설계와 모듈식 Python 프레임워크를 제공하며, Vitis HLS 기반 기준 평가 결과를 공개하여 LLM for Hardware 분야의 발전에 기여합니다.

LLM 시대의 반도체 설계: HLS-Eval의 등장

최근 대규모 언어 모델(LLM)의 눈부신 발전은 학계와 산업계 모두에서 반도체 설계 분야에 혁신적인 변화를 가져오고 있습니다. 특히, 하드웨어 기술 언어(HDL), 특히 Verilog를 사용한 설계 평가 연구가 주를 이루었지만, 설계자들은 점차 고수준 합성(HLS)을 이용하여 도메인 특화형 가속기와 복잡한 하드웨어 시스템을 구축하고 있습니다.

하지만, LLM을 HLS 설계 과제에 대한 포괄적인 평가를 위한 벤치마크와 도구는 부족한 실정이었습니다. 이러한 한계를 극복하고자 Stefan Abi-Karam과 Cong Hao가 이끄는 연구팀은 HLS-Eval을 발표했습니다. HLS-Eval은 LLM 기반 HLS 설계를 위한 최초의 완벽한 벤치마크 및 평가 프레임워크입니다.

HLS-Eval: 두 가지 핵심 과제에 대한 평가

HLS-Eval은 다음 두 가지 핵심 과제에 중점을 둡니다.

1. 자연어 설명으로부터 HLS 코드 생성: LLM이 얼마나 효과적으로 자연어 설명을 이해하고 HLS 코드로 변환하는지 평가합니다.
2. HLS 특정 코드 편집을 통한 성능 및 하드웨어 효율 최적화: LLM이 생성된 코드를 분석하고 성능 및 효율을 개선하기 위한 수정 작업을 수행하는 능력을 평가합니다.

이를 위해 HLS-Eval은 표준 HLS 벤치마크와 새로운 소스에서 추출한 94개의 고유 설계를 포함합니다. 각 설계는 자연어 설명과 C-시뮬레이션 및 합성 검증을 위한 테스트 벤치를 제공하는 반자동화된 흐름을 통해 준비되어, LLM이 즉시 사용할 수 있도록 "LLM-ready" 상태를 보장합니다.

강력한 평가 도구: 모듈식 Python 프레임워크

HLS-Eval은 벤치마크 이상의 것을 제공합니다. 모듈식 Python 프레임워크를 통해 로컬 및 호스팅된 LLM의 자동화된 병렬 평가를 지원합니다. 병렬 평가 엔진, 직접 HLS 도구 통합, 그리고 다양한 LLM 상호 작용 방식을 지원하는 추상화 기능을 포함하여 새로운 벤치마크, 과제 및 LLM 방법의 신속한 프로토타이핑을 가능하게 합니다.

Vitis HLS 기반 기준 평가 및 공개

연구팀은 Vitis HLS에서 오픈소스 LLM에 대한 기준 평가를 수행하여 파싱 가능성, 컴파일 가능성, 실행 가능성, 합성 가능성 등 네 가지 주요 지표를 측정했습니다. 또한 pass@k 지표를 보고하여 LLM for Hardware 커뮤니티를 위한 명확한 기준선과 재사용 가능한 인프라를 구축했습니다.

모든 벤치마크, 프레임워크 코드 및 결과는 https://github.com/stefanpie/hls-eval 에서 공개되어 있습니다. HLS-Eval은 LLM을 활용한 반도체 설계 분야의 발전에 크게 기여할 것으로 기대됩니다.