혁신적인 AI 추론 시스템: 속도와 정확성의 완벽한 조화

본 기사는 대규모 언어 모델(LLM)과 소규모 언어 모델(SLM)을 결합하여 실시간 추론 성능을 극대화하는 혁신적인 AI 추론 시스템에 대한 연구 결과를 소개합니다. 작업 지향적 정보 노화(TAoI) 개념을 도입하여 정확성과 시의성을 동시에 고려한 최적화 알고리즘을 개발하고, 시뮬레이션을 통해 그 효과를 검증했습니다. 이 연구는 자율주행, 스마트 팩토리 등 다양한 분야에 큰 영향을 미칠 것으로 기대됩니다.

속도와 정확성, AI 추론의 딜레마를 극복하다

최근 급격한 발전을 이룬 대규모 언어 모델(LLM)은 놀라운 추론 능력을 선보이며 인공지능 분야의 혁신을 주도하고 있습니다. 하지만 방대한 매개변수로 인한 높은 추론 지연 시간은 실시간 응용 분야에 적용하는 데 큰 걸림돌이 되고 있습니다. 반면 소규모 언어 모델(SLM)은 속도는 빠르지만, 복잡한 작업에서는 정확도가 떨어지는 한계를 가지고 있습니다.

중국과학원, 싱가포르 난양이공대학 등 연구진은 이러한 문제를 해결하기 위해 사용자, 센서, 그리고 LLM과 SLM을 모두 통합한 에지 서버로 구성된 혁신적인 원격 추론 시스템을 개발했습니다. 이 시스템은 센서로부터 전송되는 이미지의 해상도를 동적으로 조절하고, 작업의 특성에 따라 LLM 또는 SLM을 선택적으로 활용하여 최적의 성능을 제공합니다.

핵심은 작업 지향적 정보 노화(Task-oriented Age of Information, TAoI) 라는 새로운 개념입니다. 단순히 추론 시간만 고려하는 것이 아니라, 추론 결과의 정확성과 시의성을 동시에 고려하여 시스템 성능을 평가하는 획기적인 접근 방식입니다. 비균일한 전송 및 추론 시간을 고려하여 반마르코프 의사결정 과정(SMDP)으로 문제를 모델링하고, 이를 마르코프 의사결정 과정으로 변환하여 최적 제어 정책이 임계값 기반 구조를 따른다는 것을 증명했습니다. 더 나아가, 이러한 임계값 특성을 활용한 상대 정책 반복 알고리즘을 개발하여 최적 정책을 효율적으로 찾아냈습니다.

시뮬레이션 결과는 이 시스템이 기존 방식보다 정확성과 시의성 간의 균형을 훨씬 효과적으로 관리한다는 것을 보여줍니다. 이는 실시간으로 빠른 응답이 필요한 자율주행, 스마트 팩토리, 의료 진단 등 다양한 분야에 혁신적인 변화를 가져올 것으로 기대됩니다. 본 연구는 단순히 AI 모델의 성능 향상에 그치지 않고, 실제 응용 환경에서의 효율성을 극대화하는 데 초점을 맞춘 중요한 성과입니다. 앞으로 이러한 연구를 바탕으로 더욱 정교하고 실용적인 AI 추론 시스템이 개발될 것으로 예상됩니다.

주요 연구진: Shuying Gan, Xijun Wang, Chenyuan Feng, Chao Xu, Howard H. Yang, Xiang Chen, Tony Q. S. Quek