SmartBench: 중국 스마트폰 어시스턴트 LLM, 진정한 실력은? 🤔

SmartBench는 중국어 모바일 환경에 특화된 최초의 LLM 평가 벤치마크로, 실제 사용 시나리오를 반영한 20가지 과제와 자동화된 평가 기준을 통해 On-Device LLM의 성능을 종합적으로 평가합니다. 이는 중국어 LLM의 발전과 더 나아가 실용적인 스마트폰 경험 향상에 크게 기여할 것으로 예상됩니다.

스마트폰 속 AI, 진짜 실력은? SmartBench가 밝힙니다!

대규모 언어 모델(LLM)이 우리 일상 깊숙이 들어왔습니다. 특히 스마트폰에 탑재된 LLM은 인공지능 비서로서 빠르게 발전하고 있죠. 하지만 기존의 LLM 평가 벤치마크는 주로 영어 기반의 수학, 코딩과 같은 객관적인 과제에 집중되어 있었습니다. 과연 이것만으로 스마트폰에서 실제로 사용되는 LLM의 성능을 정확하게 평가할 수 있을까요? 특히 중국어 사용자의 경우는 더욱 그렇습니다.

바로 이러한 한계를 극복하기 위해 등장한 것이 바로 SmartBench입니다! 🎉

SmartBench는 중국어 모바일 환경에서의 LLM 성능을 평가하는 최초의 벤치마크입니다. 중국 스마트폰 제조사들이 제공하는 기능들을 분석하여 텍스트 요약, 질의응답, 정보 추출, 콘텐츠 생성, 알림 관리 등 5가지 주요 범주, 20가지 세부 과제로 나누어 평가합니다. 각 과제는 일상적인 모바일 상호작용을 반영하는 50~200개의 질의응답 쌍으로 구성된 고품질 데이터셋을 사용합니다. 무작위로 만들어진 데이터가 아닌, 실제 사용자의 필요를 충족하는 데이터를 기반으로 평가한다는 점이 핵심입니다.

단순히 점수만 매기는 것이 아니라, 자동화된 평가 기준을 개발하여 객관성을 확보했습니다. 실제 스마트폰의 NPU(Neural Processing Unit)에 배포된 LLM과 MLLM(Multi-Lingual LLM)을 SmartBench를 이용하여 종합적으로 평가하고, 양자화 배포 후 성능까지 분석합니다.

Xudong Lu 등 연구진은 이 연구를 통해 중국어 기반의 On-Device LLM 평가를 위한 표준화된 프레임워크를 제공하여, 이 분야의 발전을 크게 앞당길 것으로 기대하고 있습니다. 코드와 데이터는 https://github.com/Lucky-Lance/SmartBench에서 확인할 수 있습니다.

SmartBench의 등장은 LLM의 발전과 함께 중국어 사용자를 위한 더욱 편리하고 효율적인 스마트폰 경험을 제공하는데 중요한 이정표가 될 것입니다. 앞으로 SmartBench를 통해 더욱 정교하고 실용적인 LLM들이 개발되어 우리의 삶을 풍요롭게 만들어 줄 것을 기대해봅니다.