획기적인 AI 스케일링 기술 등장: 인간처럼 학습하고 성장하는 모델

인간의 피드백 과정을 모방한 새로운 AI 모델 스케일링 기법이 등장하여 일반적인 작업에서 최고 수준의 성능을 달성했습니다. Llama 3 기반의 70B 매개변수 모델을 사용한 이 기술은 향후 AI 발전에 큰 영향을 미칠 것으로 예상됩니다.

인간의 학습 방식을 본뜬 AI 스케일링 기술

최근 Zhilin Wang 등 연구진이 발표한 논문 "Dedicated Feedback and Edit Models Empower Inference-Time Scaling for Open-Ended General-Domain Tasks"는 AI 모델의 성능 향상에 혁신적인 접근 방식을 제시합니다. 기존의 AI 스케일링 기술은 수학, 코딩과 같은 특정 영역의 검증 가능한 답변에 의존했지만, 이번 연구는 인간이 여러 번 시도하고 피드백을 통해 개선하는 과정을 모방하여 훨씬 폭넓은 일반적인 작업(open-ended general-domain tasks)에 적용 가능한 기술을 선보였습니다.

세 단계의 피드백 및 수정 모델

연구진은 세 가지 모델을 활용합니다. 첫 번째 모델은 초기 답변을 생성하고, 두 번째 모델은 이에 대한 피드백을 제공하며, 세 번째 모델은 피드백을 바탕으로 답변을 수정합니다. 마치 인간이 아이디어를 구체화하고 다른 사람의 의견을 수렴하여 결과물을 개선하는 과정과 유사합니다. 이러한 피드백 기반의 반복적인 학습 과정을 통해 모델의 성능이 향상됩니다.

놀라운 성능 향상: Arena Hard 벤치마크 정복

연구진은 Llama 3 계열의 70B 매개변수 모델을 사용하여 실험을 진행했습니다. 그 결과, Chatbot Arena Elo 예측력이 높은 Arena Hard 벤치마크에서 2025년 3월 5일 기준 92.7점이라는 놀라운 성능을 달성했습니다. 이는 OpenAI o1-preview-2024-09-12 (90.4점)과 DeepSeek R1 (92.3점)을 능가하는 결과입니다. 초기 답변 초안의 수, 효과적인 피드백, 수정된 답변의 수를 최적으로 조정함으로써 이러한 성과를 얻을 수 있었습니다.

범용성과 미래 전망

이 연구의 가장 큰 의의는 특정 영역에 국한되지 않고, 다양한 일반적인 작업에 적용될 수 있다는 점입니다. 인간의 학습 방식을 모방한 이 새로운 스케일링 기법은 AI의 발전에 크게 기여할 것으로 기대되며, 앞으로 더욱 발전된 AI 모델과 서비스 개발에 중요한 역할을 할 것으로 예상됩니다. 하지만, 모델의 규모와 복잡성을 고려할 때, 실제 응용 및 윤리적인 측면에 대한 추가적인 연구가 필요합니다. 향후, 이 기술이 어떻게 활용되고 발전할지 지켜보는 것은 매우 흥미로운 일이 될 것입니다.