훈련과 테스트 시간 연산의 공동 설계: 수학적 추론 성능 향상의 새로운 지평

본 연구는 대규모 언어 모델(LLM)의 테스트 시간 연산 확장을 통한 성능 향상 연구에서, 기존의 훈련 방식의 한계를 지적하고 모델의 과신을 해결하는 새로운 훈련 손실 함수를 제시함으로써 수학적 추론 성능을 향상시켰습니다. 이는 훈련과 테스트 시간 전략의 공동 설계 중요성을 강조하는 획기적인 연구입니다.

최근 대규모 언어 모델(LLM)의 발전은 수학적 추론이나 코드 생성과 같은 복잡한 과제에서 테스트 시간 연산 규모를 확장함으로써 놀라운 성능 향상을 가져왔습니다. 하지만 이러한 발전은 새로운 질문을 제기합니다. 모델 훈련은 어떻게 수정되어야 후속 테스트 시간 연산 전략 및 예산에 맞춰 최적의 성능을 발휘할 수 있을까요?

Chen 등의 연구는 이 질문에 대한 흥미로운 답을 제시합니다. 연구진은 여러 개의 독립적인 샘플에서 정답을 찾는 간단한 테스트 시간 전략인 pass@N에 초점을 맞췄습니다. 놀랍게도, 교차 엔트로피(CE) 손실을 사용한 훈련은 pass@N과 불일치를 보이며, 훈련 시간이 길어질수록 pass@N 정확도가 감소하는 현상을 발견했습니다.

연구진은 이러한 불일치의 원인을 CE에 의해 유발된 모델의 과신(overconfidence) 에서 찾았습니다. 실험을 통해 과신이 pass@N을 통한 테스트 시간 연산 확장의 걸림돌임을 입증했습니다. 이를 해결하기 위해, 연구진은 모델의 신뢰도를 제한하여 pass@N과의 정렬성을 개선하는 수정된 훈련 손실 함수를 제안했습니다.

새로운 알고리즘은 MATH 및 MiniF2F 벤치마크에서 수학 문제 해결 및 다양한 형태의 증명 트리를 탐색하여 정리를 증명하는 두 가지 시나리오 모두에서 성능 향상을 보였습니다. 이는 LLM 개발의 두 가지 전통적으로 분리된 단계인 훈련 시간 프로토콜과 테스트 시간 탐색 및 추론 전략의 공동 설계의 중요성을 강조합니다.

결론적으로, 본 연구는 LLM의 성능 향상을 위한 새로운 패러다임을 제시합니다. 단순히 모델 크기를 키우는 것만이 아니라, 훈련 방식과 테스트 시간 전략을 통합적으로 고려하는 공동 설계 접근법이 필수적임을 보여줍니다. 이는 향후 LLM 개발의 방향에 중요한 시사점을 제공합니다.