ORANSight-2.0: O-RAN을 위한 혁신적인 초거대 언어 모델의 탄생

Pranshav Gajjar와 Vijay K. Shah가 개발한 ORANSight-2.0은 O-RAN에 특화된 초거대 언어 모델로, 기존 모델보다 우수한 성능과 낮은 에너지 비용을 제공합니다. 오픈소스 기반으로 개발되어 AI 기술의 민주화에 기여할 것으로 기대됩니다.

헬스케어, 고객 서비스, 마케팅 등 다양한 분야에서 초거대 언어 모델(LLM)의 파괴적인 영향력이 확대되고 있지만, 개방형 무선 접속 네트워크(O-RAN) 분야에서는 아직 그 적용이 미흡한 실정입니다. 기존의 범용 LLM은 O-RAN의 고유한 기술적 복잡성을 제대로 처리하지 못하기 때문입니다.

이러한 문제를 해결하기 위해 Pranshav Gajjar와 Vijay K. Shah는 ORANSight-2.0 (O-RAN Insights) 라는 획기적인 프로젝트를 통해 O-RAN에 특화된 LLM을 개발했습니다. 5가지 오픈소스 LLM 프레임워크를 기반으로 18개의 LLM (파라미터 수 10억~700억 개)을 미세 조정하여, 독점적이고 폐쇄적인 모델에 대한 의존도를 크게 줄이고 O-RAN 성능을 향상시켰습니다.

ORANSight-2.0의 핵심은 RANSTRUCT라는 새로운 검색 증강 생성(RAG) 기반 지시 조정 프레임워크입니다. 두 개의 LLM 에이전트를 사용하여 고품질 지시 조정 데이터셋을 생성하고, 이를 통해 18개의 사전 훈련된 오픈소스 LLM을 QLoRA를 이용하여 미세 조정합니다.

성능 평가를 위해서는 srsRAN(널리 사용되는 5G O-RAN 스택) 환경에서의 코드 생성 및 코드베이스 이해를 위한 새로운 벤치마크인 srsRANBench와 기존의 O-RAN 관련 지식 평가 벤치마크인 ORANBench13K를 활용했습니다. 평가 결과, ORANSight-2.0 모델은 ChatGPT-4o나 Gemini와 같은 범용 및 폐쇄형 모델보다 ORANBench에서 5.421%, srsRANBench에서 18.465% 더 높은 성능을 보였습니다. 뿐만 아니라, 컴퓨팅 및 에너지 비용도 낮게 유지했습니다.

연구진은 또한 RAG를 추가한 ORANSight-2.0 LLM 변형에 대한 실험을 진행하고 에너지 특성을 철저히 평가하여 훈련, 표준 추론 및 RAG 증강 추론 비용을 제시했습니다.

ORANSight-2.0의 등장은 O-RAN 분야의 AI 기술 발전에 중요한 이정표를 세웠습니다. 오픈소스 기반의 접근 방식과 우수한 성능은 O-RAN 생태계의 확장과 AI 기술의 민주화를 가속화할 것으로 기대됩니다. 향후 연구를 통해 더욱 발전된 LLM이 등장하고 O-RAN의 혁신을 주도할 것으로 예상됩니다.