웹 브라우저에서 돌아가는 AI: WebLLM의 혁신적인 등장


WebLLM은 웹 브라우저에서 고성능 LLM 추론을 가능하게 하는 혁신적인 오픈소스 프레임워크로, 개인 정보 보호 및 접근성을 향상시키고 AI의 민주화를 앞당길 것으로 기대됩니다.

related iamge

최근 대규모 언어 모델(LLM)의 발전은 놀라운 능력을 선보였습니다. 하지만 이러한 모델의 배포에는 일반적으로 서버급 GPU와 클라우드 기반 추론이 필요했습니다. 하지만, 소형 오픈소스 모델의 등장과 점점 더 강력해지는 개인용 기기들 덕분에 온디바이스 배포가 현실적인 선택지가 되었습니다.

웹 브라우저는 온디바이스 배포를 위한 플랫폼으로서 보편적인 접근성을 제공하며, 자연스러운 에이전트 환경을 제공하고 다양한 기기 공급업체의 백엔드를 편리하게 추상화합니다. 이러한 기회에 발맞춰, Charlie F. Ruan을 비롯한 13명의 연구진이 WebLLM을 발표했습니다. WebLLM은 웹 브라우저 내에서 완전히 고성능 LLM 추론을 가능하게 하는 오픈소스 JavaScript 프레임워크입니다.

WebLLM은 웹 애플리케이션과의 원활한 통합을 위해 OpenAI 스타일 API를 제공하며, 효율적인 로컬 GPU 가속을 위해 WebGPU를, 고성능 CPU 연산을 위해 WebAssembly를 활용합니다. 특히, MLC-LLM 및 Apache TVM과 같은 머신 러닝 컴파일러를 통해 최적화된 WebGPU 커널을 활용하여 고성능 WebGPU 커널 라이브러리의 부재라는 어려움을 극복했습니다.

평가 결과, WebLLM은 동일한 기기에서 기존 성능의 최대 80%를 유지하는 것으로 나타났으며, 성능 향상의 여지도 남아있습니다. WebLLM은 웹 브라우저에서 보편적으로 접근 가능하고, 개인 정보를 보호하며, 개인화되고, 로컬에서 구동되는 LLM 애플리케이션의 길을 열었습니다. 코드는 여기에서 확인할 수 있습니다.

WebLLM은 단순한 기술적 발전을 넘어, AI의 민주화를 향한 중요한 발걸음입니다. 더 이상 강력한 서버나 특수한 하드웨어에 의존하지 않고, 누구나 자신의 웹 브라우저에서 AI의 힘을 경험할 수 있는 시대가 열리고 있습니다. 이는 AI 기술의 접근성을 높이고, 개인 정보 보호 문제 해결에 크게 기여할 것으로 기대됩니다. 앞으로 WebLLM이 어떻게 발전하고, 어떤 새로운 가능성을 열어갈지 주목할 만합니다. 🔥


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] WebLLM: A High-Performance In-Browser LLM Inference Engine

Published:  (Updated: )

Author: Charlie F. Ruan, Yucheng Qin, Xun Zhou, Ruihang Lai, Hongyi Jin, Yixin Dong, Bohan Hou, Meng-Shiun Yu, Yiyan Zhai, Sudeep Agarwal, Hangrui Cao, Siyuan Feng, Tianqi Chen

http://arxiv.org/abs/2412.15803v1