SealQA: 검색 기반 언어 모델의 추론 능력을 위한 새로운 기준

SealQA 벤치마크는 웹 검색 결과의 불확실성 속에서 AI 모델의 사실 확인 및 추론 능력을 평가하는 새로운 기준을 제시합니다. 최첨단 모델조차도 낮은 정확도를 보였으며, 단순한 연산량 증가만으로는 성능 향상에 한계가 있음을 시사합니다. 본 연구는 AI 모델의 추론 능력 향상을 위한 새로운 방향을 제시하며, Hugging Face를 통해 공개된 SealQA 데이터셋은 향후 연구에 중요한 기여를 할 것으로 기대됩니다.

최근 급속도로 발전하는 인공지능(AI) 분야에서, 특히 자연어 처리(NLP) 모델의 성능 향상은 눈부십니다. 하지만, 이러한 모델들이 현실 세계의 복잡한 정보를 얼마나 잘 처리할 수 있는지는 여전히 중요한 과제입니다. 특히 웹 검색을 통해 얻은 정보가 불완전하거나 모순될 경우, AI 모델의 추론 능력은 크게 저하될 수 있습니다.

이러한 문제를 해결하기 위해, Thinh Pham 등 연구진은 새로운 벤치마크인 SealQA를 개발했습니다. SealQA는 웹 검색 결과가 모순되거나 불완전할 때, 사실 확인 및 추론 능력을 평가하는 데 초점을 맞춘 벤치마크입니다.

SealQA는 크게 세 가지 유형으로 구성됩니다. Seal-0는 가장 어려운 질문들을 중심으로 평가하며, 기존의 챗봇 모델들은 거의 0%의 정확도를 보입니다. Seal-Hard는 사실 정확도와 추론 능력을 평가하고, LongSeal은 다량의 문서에서 필요한 정보를 찾는 '찾기 어려운 정보 찾기' 능력을 평가합니다.

흥미로운 점은, 최첨단 대규모 언어 모델(LLM)조차도 SealQA에서 저조한 성능을 보였다는 것입니다. 예를 들어, o3 및 o4-mini와 같은 도구를 사용하는 최첨단 모델조차 Seal-0에서 각각 17.1%와 6.3%의 정확도에 그쳤습니다. DeepSeek-R1-671B 및 o3-mini와 같은 고급 추론 모델도 잡음이 많은 검색 결과에 매우 취약한 것으로 나타났습니다.

더욱 놀라운 것은, 테스트 시간 연산량을 늘린다고 해서 성능이 항상 향상되는 것이 아니라는 점입니다. o3-mini, o4-mini, o3 모델에서 성능이 정체되거나 오히려 감소하는 경우도 관찰되었습니다. 이는 단순히 컴퓨팅 파워 증가만으로는 AI 모델의 추론 능력 향상에 한계가 있음을 시사합니다.

LongSeal 결과는, 최근 모델들이 '중간에 정보를 놓치는' 문제에는 덜 영향을 받지만, 여전히 많은 방해 요소가 있는 경우 관련 문서를 신뢰성 있게 식별하는 데 어려움을 겪는다는 것을 보여줍니다.

연구진은 SealQA 데이터셋을 Hugging Face를 통해 공개하여, 향후 AI 모델 개발에 도움을 줄 것으로 기대하고 있습니다. SealQA는 AI 모델의 사실 확인 및 추론 능력을 평가하는 새로운 기준을 제시하며, AI 기술의 지속적인 발전을 위한 중요한 이정표가 될 것으로 예상됩니다.