혁신적인 온디바이스 LLM 가속기 ROMA: 읽기 전용 메모리 기반의 미래

중국과학원 연구팀이 개발한 ROMA는 QLoRA 기반 온디바이스 LLM 가속기로, ROM과 SRAM 하이브리드 아키텍처와 B-ROM 설계를 통해 높은 속도와 효율성을 달성하여 온디바이스 AI 시대를 앞당길 혁신적인 기술로 평가받고 있습니다.

최근 대규모 언어 모델(LLM)이 엄청난 성능을 보여주면서, 개인정보 보호 및 실시간 상호작용이라는 장점을 제공하는 에지 디바이스 상에서의 LLM 배포가 점점 중요해지고 있습니다. 이러한 흐름 속에서, QLoRA는 메모리 및 계산 비용을 줄이면서 작업별 적응성을 제공하는 양자화된 모델을 활용하여 온디바이스 LLM을 위한 표준 접근 방식으로 부상했습니다.

중국과학원 소속의 Wang Wenqiang 박사를 비롯한 연구팀은 이러한 문제에 대한 혁신적인 해결책을 제시하며, ROMA라는 새로운 QLoRA 가속기를 발표했습니다. ROMA는 양자화된 기저 모델을 ROM(읽기 전용 메모리)에 저장하고, LoRA 가중치와 KV 캐시를 SRAM(정적 램)에 저장하는 하이브리드 스토리지 아키텍처를 사용합니다.

연구팀의 핵심 통찰력은 양자화된 기저 모델의 안정성에 있습니다. 이미 학습이 완료된 기저 모델은 ROM에 저장하는 것이 효율적이며, LoRA 모듈은 기저 모델을 업데이트하지 않고도 새로운 데이터에 적응할 수 있는 유연성을 제공합니다. 더 나아가, B-ROM이라는 혁신적인 설계를 통해 ROM의 면적 비용을 줄이고 컴퓨팅 유닛과 통합하여 칩 자원을 효율적으로 사용합니다.

결과적으로 ROMA는 4-bit 3B 및 2-bit 8B LLaMA 모델을 완전히 온칩으로 저장하고, 외부 메모리 없이도 20,000 토큰/초를 넘는 놀라운 생성 속도를 달성했습니다. 이는 에지 디바이스에서의 LLM 실행에 대한 새로운 가능성을 열어주는 획기적인 성과입니다. 온디바이스 인공지능 시대의 도래를 앞당길 ROMA의 활약이 기대됩니다. 이는 단순한 기술적 진보를 넘어, 개인정보 보호와 실시간 응답을 중시하는 미래 AI 시스템 구축에 중요한 이정표가 될 것입니다. 앞으로 이 기술의 발전과 응용 분야 확장에 대한 지속적인 관심이 필요합니다.