인간과 같은 지능을 가진 기계 평가의 벤치마킹에 관하여

본 논문은 AI가 인간 수준의 인지 능력에 도달했다는 주장에 대해, 현재의 AI 평가 방식이 인간의 다양한 반응과 불확실성, 현실 세계의 복잡성을 제대로 반영하지 못한다는 점을 지적합니다. 인간 평가 연구를 통해 기존 벤치마크의 문제점을 밝히고, 더욱 엄격하고 의미 있는 평가를 위한 5가지 권고안을 제시합니다.

최근 AI의 놀라운 발전: 과연 인간 수준에 도달했을까?

최근 여러 연구에서 AI가 다양한 인지 과제에서 인간 수준 또는 그 이상의 성능을 달성했다고 주장합니다. 하지만 영국 케임브리지 대학을 포함한 여러 기관의 연구자들은 "기계에서 인간과 같은 지능 벤치마킹에 관하여" 라는 논문에서 이러한 주장에 제동을 걸었습니다. 논문의 주요 저자 Lance Ying을 필두로 한 연구팀은 현재 AI 평가 방식이 인간과 같은 인지 능력을 제대로 평가하지 못한다는 점을 강조합니다.

AI 평가의 핵심적인 결점들

연구팀은 다음과 같은 핵심적인 결점들을 지적합니다.

• 인간 검증된 레이블 부족: 기존 벤치마크는 인간의 직관적 판단을 충분히 반영하지 못하는 경우가 많습니다. AI가 높은 점수를 받았다고 해서 인간과 동일한 방식으로 문제를 해결했다는 것을 의미하지 않습니다.
• 인간 반응의 다양성과 불확실성 고려 부족: 인간은 다양한 방식으로 문제에 접근하고, 때로는 불확실한 답을 내놓기도 합니다. 현재 AI 평가는 이러한 인간 반응의 복잡성을 충분히 반영하지 못하고 있습니다.
• 단순화되고 생태학적으로 타당하지 않은 과제: AI에 제시되는 과제들은 현실 세계의 복잡성을 제대로 반영하지 못하는 경우가 많습니다. 단순화된 과제에서 좋은 성능을 보이는 AI가 실제 세계에서도 잘 작동할 것이라고 보장할 수 없습니다.

인간 평가 연구를 통한 문제점 확인

연구팀은 10개의 기존 AI 벤치마크에 대한 인간 평가 연구를 실시하여 과제 및 레이블 설계의 편향성과 결함을 확인했습니다. 이를 통해 기존 벤치마크의 한계를 명확히 밝혔습니다.

더 나은 미래를 위한 5가지 제안

이러한 한계를 극복하기 위해 연구팀은 AI의 인간 수준 인지 능력을 더욱 엄격하고 의미 있게 평가할 수 있는 미래 벤치마크 개발을 위한 5가지 구체적인 권고안을 제시했습니다. 이러한 권고안은 AI 응용 프로그램에 대한 다양한 함의를 가지고 있습니다. 이는 단순히 점수 경쟁이 아닌, 인간과 같은 지능이 무엇인지, 그리고 그것을 어떻게 측정할 것인지에 대한 근본적인 질문을 던지는 중요한 연구 결과입니다.

결론적으로, AI의 발전은 계속되지만, 그 평가 기준의 엄밀성에 대한 재고가 필요함을 강조합니다. 인간과 같은 지능을 정의하고 측정하는 일은 여전히 풀어야 할 과제이며, 이 연구는 그 방향을 제시하는 중요한 이정표가 될 것입니다.