사카나의 AI 과학자: 꿈같은 현실, 아니면 아직 갈 길 먼 여정?

사카나의 AI 과학자는 인공 연구 지능(ARI)을 향한 중요한 진전이지만, 아직 완벽하지 않다. 속도와 효율성은 뛰어나지만, 정확성과 신뢰성 향상이 필요하며, 인간과 AI의 협력이 미래 과학의 핵심이다.

인공 일반 지능(AGI)과 초지능으로 향하는 주요 단계 중 하나는 AI가 자율적으로 연구를 수행하는 능력, 즉 우리가 인공 연구 지능(ARI) 이라고 부르는 것입니다. 만약 기계가 인간의 개입 없이 가설을 생성하고, 실험을 수행하고, 연구 논문을 작성할 수 있다면, 과학은 엄청난 변화를 맞이할 것입니다.

최근 사카나(Sakana)는 'AI 과학자'를 발표하며 자율적인 연구 수행을 주장했습니다. 즉, ARI를 달성했다고 주장한 것입니다. 이 AI 과학자는 많은 관심을 받았지만, 철저한 독립적인 평가는 아직 이루어지지 않았습니다.

Joeran Beel, Min-Yen Kan, Moritz Baumgart 등의 연구진은 AI 과학자에 대한 평가에서 중요한 단점들을 발견했습니다. 시스템의 문헌 검토는 새로운 아이디어에 대한 평가가 부족했으며, 기존 개념을 새로운 것으로 잘못 분류하는 경우가 빈번했습니다 (예: 확률적 경사 하강법을 위한 마이크로 배칭). 실험 실행에도 어려움을 겪었는데, 코딩 오류로 인해 42%의 실험이 실패했고, 다른 실험들은 잘못되거나 오해의 소지가 있는 결과를 생성했습니다. 코드 수정은 최소한이었고, 반복당 평균 8%의 문자 증가로 제한된 적응성을 보여주었습니다.

생성된 논문은 근거가 부족했으며, 중간값이 5개인 인용문 중 대부분이 오래된 것이었습니다 (34개 중 2020년 이후의 것은 5개뿐). 그림 누락, 섹션 반복, '결론 여기'와 같은 자리 표시자 텍스트 등 구조적 오류가 빈번했습니다. 일부 논문에는 허구의 수치 결과가 포함되어 있었습니다.

이러한 결점에도 불구하고, AI 과학자는 연구 자동화의 큰 발전을 나타냅니다. 최소한의 인간 개입으로 완전한 연구 논문을 생성하며, AI 기반 과학에 대한 기대에 도전하고 있습니다. 많은 검토자는 그것의 작업을 인간 연구자의 작업과 구별하는 데 어려움을 느낄 수 있습니다. 그 질이 서두른 학부생 논문과 비슷하지만, 그 속도와 비용 효율성은 전례가 없으며, 3.5시간의 인간 개입으로 6~15달러에 완전한 논문을 생성하여 기존 연구자들을 훨씬 능가합니다.

결론적으로, AI 과학자는 ARI로 가는 여정의 한 단계일 뿐입니다. 놀라운 속도와 효율성을 보여주지만, 정확성과 신뢰성 면에서 개선이 필요하며, 인간 연구자의 역할은 여전히 중요합니다. AI와 인간의 협력을 통한 시너지 창출이야말로 미래 과학의 핵심이 될 것입니다. AI는 도구일 뿐이며, 인간의 통찰력과 창의성이 그 잠재력을 극대화할 것입니다.