SIFT: 스티커를 활용한 LLM 추론의 맥락 기반 정확도 향상

본 논문은 LLM의 맥락 오류 해석 문제를 해결하기 위해, 모델 자체가 생성하는 'Sticker'를 활용하여 추론 과정을 맥락에 기반하도록 하는 SIFT 기법을 제안합니다. 다양한 모델과 벤치마크에서 우수한 성능 향상을 보이며, AIME2024에서 새로운 최고 기록을 달성했습니다.

뛰어넘는 정확성, SIFT: LLM 추론의 새로운 지평

최근 발표된 논문 "SIFT: Grounding LLM Reasoning in Contexts via Stickers"는 대규모 언어 모델(LLM)의 추론 과정에서 맥락 오류 해석이 가져오는 심각한 문제점을 조명합니다. Llama3.2-3B-Instruct부터 DeepSeek-R1까지, 크고 작은 모델 모두 '10달러/킬로그램'과 같은 문구에서 'per'의 의미를 정확히 파악하지 못해 계산 오류를 일으키는 사례가 존재합니다.

하지만 이제 걱정은 그만! Zeng Zihao, Huang Xuyao, Li Boxiu, Deng Zhijie 연구팀은 이 문제를 해결하기 위한 혁신적인 후처리 기법, Stick to the Facts (SIFT) 를 소개합니다.

SIFT는 추론 시점의 컴퓨팅 자원을 증가시켜 LLM의 추론 과정을 맥락에 더욱 충실하게 만들도록 설계되었습니다. 핵심은 모델이 스스로 생성하는 **'Sticker'**입니다. Sticker는 맥락 내 주요 정보를 명확하게 강조하는 역할을 합니다. SIFT는 Sticker를 활용하여 두 가지 예측을 생성합니다. 하나는 원래 질문에 대한 예측이고, 다른 하나는 Sticker가 추가된 질문에 대한 예측입니다.

만약 두 예측이 다르다면? SIFT는 순차적 개선 과정을 거칩니다. 먼저, 전방 최적화(forward optimization) 를 통해 추출된 정보와 질문의 일치도를 높입니다. 다음으로, 역 생성(inverse generation) 을 통해 모델의 고유한 경향성과 부합하도록 Sticker를 수정합니다. 이를 통해 더욱 정확한 추론 결과를 얻을 수 있습니다.

3B부터 100B+까지 다양한 모델과 GSM8K, MATH-500 등 여러 벤치마크에서 SIFT의 성능 향상이 검증되었습니다. 특히, AIME2024에서 DeepSeek-R1의 정확도(pass@1)를 78.33%에서 **85.67%**로 향상시키며 오픈소스 커뮤니티의 새로운 최고 기록을 달성했습니다. 코드는 https://github.com/zhijie-group/SIFT에서 확인할 수 있습니다.

이 연구는 LLM의 추론 능력 향상에 새로운 가능성을 제시하며, 앞으로 더욱 정확하고 신뢰할 수 있는 AI 시스템 개발에 크게 기여할 것으로 기대됩니다.