획기적인 AI 추론 프레임워크 '스케치 오브 쏘트(SoT)' 등장: 토큰 사용량 76% 감소!

본 기사는 인지과학적 사고방식을 활용한 새로운 AI 추론 프레임워크 '스케치 오브 쏘트(SoT)'에 대한 내용입니다. SoT는 기존의 사고 연쇄 프롬프팅 방식의 한계를 극복하고, 토큰 사용량을 76% 감소시키면서 추론 정확도를 높이는 성과를 거두었습니다. 연구진은 SoT의 코드를 공개하여 AI 추론 기술의 발전에 기여할 것으로 기대됩니다.

AI 추론의 혁신: 스케치 오브 쏘트(SoT)가 가져올 변화

최근 대규모 언어 모델(LLM)의 발전은 사고 연쇄(CoT) 프롬프팅을 통해 놀라운 추론 능력을 보여주었습니다. 하지만, 중간 출력에서 과도한 정보를 생성하여 계산 비용이 증가하는 문제점이 존재했습니다. Simon A. Aytes, Jinheon Baek, Sung Ju Hwang 등 연구진은 이러한 문제를 해결하기 위해 스케치 오브 쏘트(Sketch-of-Thought, SoT) 라는 혁신적인 프롬프팅 프레임워크를 개발했습니다.

SoT는 인지과학에서 영감을 얻은 추론 패러다임과 언어적 제약을 결합하여 토큰 사용량을 최소화하면서 추론 정확도를 유지하는 것을 목표로 합니다. 단순히 기존 방식을 개선하는 것을 넘어, 개념 연결, 청크 기호주의, 전문가 어휘 등 세 가지 인지 패러다임을 상황에 맞게 동적으로 활용하는 유연성을 갖추었습니다. 경량화된 라우팅 모델이 각 작업에 가장 적합한 패러다임을 선택하여 효율성을 극대화합니다.

15개의 다국어 및 다중 모드 추론 데이터셋을 이용한 종합적인 평가 결과는 놀라웠습니다. SoT는 토큰 사용량을 무려 76%나 감소시키면서 정확도 저하를 거의 발생시키지 않았습니다. 특히 수학 및 다단계 추론과 같은 복잡한 작업에서는 정확도를 향상시키면서 동시에 토큰 사용량을 대폭 줄이는 성과를 거두었습니다. 이는 AI 추론의 효율성을 획기적으로 높일 수 있는 가능성을 보여줍니다.

연구진은 SoT의 코드를 공개적으로 제공하여(https://www.github.com/SimonAytes/SoT) 더 많은 연구자들이 이 기술을 활용하고 발전시킬 수 있도록 지원하고 있습니다. SoT는 단순한 기술적 발전을 넘어, AI가 더욱 효율적이고 지능적으로 추론하는 미래를 향한 중요한 이정표가 될 것으로 기대됩니다.

주요 내용 요약:

• 문제: 기존 CoT 프롬프팅의 과도한 토큰 사용 문제
• 해결책: 인지과학 기반의 SoT 프롬프팅 프레임워크 제시
• 방법: 세 가지 인지 패러다임(개념 연결, 청크 기호주의, 전문가 어휘) 동적 활용
• 결과: 토큰 사용량 76% 감소, 정확도 유지 또는 향상
• 공개: 코드 공개 (https://www.github.com/SimonAytes/SoT)