혁신적인 AI 추론 프레임워크 '사고 분할(DoT)': 온디바이스 AI의 새 지평을 열다

Chenyang Shao 등 연구진이 개발한 '사고 분할(DoT)' 프레임워크는 소형 언어 모델(SLM)과 대형 언어 모델(LLM)의 시너지를 활용, 온디바이스 AI의 효율성과 정확도를 획기적으로 향상시켰습니다. 작업 분해, 스케줄링, 그리고 자기 강화 학습 기반 어댑터를 통해 추론 시간과 비용을 크게 절감하면서도 경쟁력 있는 정확도를 유지하는 놀라운 성과를 달성했습니다.

끊임없이 증가하는 웹 콘텐츠 속에서 사용자들은 온디바이스 AI 어시스턴트의 도움 없이는 복잡한 온라인 작업들을 감당하기 어려워졌습니다. 최근 대형 언어 모델(LLM)의 등장과 함께 발전된 추론 능력은 차세대 온디바이스 AI 에이전트 개발에 희망을 불어넣었습니다. 하지만 자원이 제한적인 현실에서 대규모 LLM을 로컬 기기에 배포하는 것은 여전히 큰 과제였습니다.

이러한 문제를 해결하기 위해, Chenyang Shao 등 연구진이 제시한 **'사고 분할(Division-of-Thoughts, DoT)'**은 획기적인 해결책을 제시합니다. DoT는 소형 언어 모델(SLM) 과 클라우드 기반 LLM의 시너지를 활용하는 협업 추론 프레임워크입니다.

DoT의 핵심 기술: 효율성과 정확성의 조화

DoT는 세 가지 핵심 기술을 통해 효율성과 정확성을 동시에 달성합니다.

1. 작업 분해기(Task Decomposer): 사용자 질의를 더 작은 하위 작업으로 분해하여 LLM과 SLM이 각자의 강점을 최대한 활용할 수 있도록 설계되었습니다. 마치 복잡한 문제를 쉽게 해결하기 위해 문제를 작은 조각으로 나누는 것과 같습니다. 이는 언어 모델의 고유한 계획 능력을 활용하는 전략입니다.
2. 작업 스케줄러(Task Scheduler): 하위 작업 간의 상호 의존성을 분석하여 의존성 그래프를 생성합니다. 이를 통해 하위 작업을 병렬적으로 처리하고 핵심 단계를 식별하여 처리 속도를 높입니다. 마치 잘 짜여진 오케스트라처럼 각 작업이 효율적으로 진행되는 것을 보장합니다.
3. 플러그 앤 플레이 어댑터(Plug-and-Play Adapter): 하위 작업의 난이도에 따라 적절한 모델을 할당하는 역할을 합니다. SLM에 추가적인 작업 헤드를 부착하는 방식으로 SLM의 매개변수를 변경하지 않고도 성능을 향상시킵니다. 특히, 작업 실행 피드백만을 사용하는 자기 강화 학습 방법을 통해 어댑터의 작업 할당 능력을 향상시켰습니다.

놀라운 성능 향상: 비용 절감과 정확도 유지의 완벽한 조화

다양한 벤치마크 실험 결과, DoT는 기존 방법에 비해 평균 추론 시간을 66.12%, API 비용을 83.57%나 절감하면서도 동등한 수준의 추론 정확도를 유지하는 놀라운 성능을 보였습니다. 이는 DoT가 단순한 효율성 향상을 넘어, 비용과 성능 간의 최적의 균형을 달성했음을 의미합니다.

결론: 온디바이스 AI의 새로운 가능성

DoT는 온디바이스 AI 에이전트의 효율성과 정확성을 획기적으로 개선한 혁신적인 프레임워크입니다. 이 연구는 제한된 자원 환경에서도 강력한 AI 기능을 제공하는 미래 온디바이스 AI 시스템 구축에 중요한 이정표를 제시합니다. 앞으로 DoT가 더욱 발전하여 다양한 분야에서 활용될 수 있기를 기대합니다.