AI 추론의 한계를 넘어서: FLIP 챌린지가 보여주는 미래

본 기사는 AI의 추론 능력 평가를 위한 새로운 벤치마크인 FLIP 데이터셋에 대한 연구 결과를 소개합니다. FLIP 챌린지는 최첨단 AI 모델조차 인간의 추론 능력에는 미치지 못함을 보여주며, 더욱 강력한 다중 모달 벤치마크 개발의 필요성을 강조합니다.

최근 몇 년간 인공지능(AI)은 이미지 분류나 글쓰기와 같은 다양한 영역에서 놀라운 발전을 이루었습니다. 하지만 여전히 AI에게 넘기 힘든 과제가 남아있습니다. 바로 추론입니다. Andreas Plesner, Turlan Kuzhagaliyev, Roger Wattenhofer 등의 연구진이 발표한 논문 “FLIP Reasoning Challenge”는 바로 이러한 AI 추론 능력의 한계를 밝히는 흥미로운 연구 결과를 담고 있습니다.

FLIP: 인간의 추론 능력을 벤치마킹한 새로운 도전

연구진은 Idena 블록체인 상의 인간 검증 작업을 기반으로 AI 추론 능력을 평가하기 위한 새로운 벤치마크인 FLIP 데이터셋을 공개했습니다. FLIP 챌린지는 사용자에게 4개의 이미지를 두 가지 순서로 제시하고, 그 중 논리적으로 일관성 있는 순서를 선택하도록 하는 과제를 제시합니다. 여기서 중요한 점은 순차적 추론, 시각적 스토리텔링, 상식적 이해 등을 모두 필요로 한다는 것입니다. 이는 다양한 모달리티를 다루는 AI 시스템에 대한 독특한 시험대를 제공합니다.

최첨단 모델도 인간 수준에는 미치지 못해

연구진은 최첨단 시각-언어 모델(VLMs)과 대규모 언어 모델(LLMs)을 활용하여 FLIP 챌린지를 평가했습니다. 그 결과, 오픈소스 및 클로즈드소스 모델 모두 제로샷 설정에서 최대 정확도가 각각 75.5%와 77.9%에 불과했습니다. 반면 인간의 정확도는 95.3%에 달했습니다. 이는 현재 AI의 추론 능력이 인간 수준에 훨씬 못 미친다는 것을 보여주는 중요한 지표입니다.

흥미로운 점은 이미지 캡션 모델을 활용하여 이미지를 텍스트로 설명해주면, 추론 모델의 성능이 향상된다는 것입니다. Gemini 1.5 Pro의 경우, 원본 이미지만 사용했을 때보다 캡션을 사용했을 때 정확도가 69.6%에서 75.2%로 상승했습니다. 또한 15개 모델의 예측을 결합한 앙상블 기법을 통해 정확도를 85.2%까지 높일 수 있었습니다.

앞으로 나아갈 길: 강력한 다중 모달 벤치마크의 필요성

FLIP 챌린지의 결과는 기존 추론 모델의 한계를 명확히 보여주며, FLIP과 같은 강력한 다중 모달 벤치마크의 중요성을 강조합니다. 연구진은 FLIP의 전체 코드베이스와 데이터셋을 https://github.com/aplesner/FLIP-Reasoning-Challenge 에서 공개하여, 향후 AI 추론 연구에 기여할 것으로 기대하고 있습니다. 인간 수준의 추론 능력을 가진 AI를 개발하기 위한 여정은 아직 시작 단계에 있지만, FLIP 챌린지와 같은 연구를 통해 AI의 발전 방향을 제시하고 있습니다. 앞으로 더욱 발전된 추론 모델과 벤치마크를 통해 AI의 가능성을 탐구해 나가야 할 것입니다.