거대 AI 모델 시대, 학계의 반격: '땜질' 전략으로 맞서다

본 기사는 Bolun Zhang 등 연구진의 논문 "Tinkering Against Scaling"을 바탕으로, 거대 AI 모델 중심의 연구 환경에서 학계 연구자들이 직면하는 어려움과, 이에 대한 해결책으로 제시된 'tinkering' 접근법을 소개합니다. 'tinkering'은 소규모 모델을 활용하여 알고리즘을 직접 다루고 이해하는 방식으로, 계산 사회과학과 비판적 알고리즘 연구에 새로운 가능성을 제시합니다.

지난 10년간 인공지능(AI) 연구는 놀라운 발전을 이루었습니다. 특히 스케일링(Scaling) 의 부상은 AI 분야를 혁신적으로 변화시켰습니다. 하지만 이러한 급속한 발전은 계산 사회과학 및 비판적 알고리즘 연구와 같은 학계 연구자들에게 심각한 과제를 안겨주었습니다. 거대 언어 모델(LLM)의 등장은 방대한 매개변수와 막대한 훈련 비용을 요구하며, 결과적으로 산업계 연구자들만이 이러한 자원에 접근할 수 있는 불균형을 초래했습니다.

Bolun Zhang 등 연구진은 최근 논문, "Tinkering Against Scaling"에서 이러한 문제점을 날카롭게 지적합니다. 학계 연구자들은 거대 모델에 대한 접근이 제한됨으로써 도구를 완전히 이해하지 못하고, 계산 사회과학 분야에서는 재현성 문제가 발생하며, 비판적 연구에서는 '블랙박스' 비유에 의존하는 한계에 직면한다는 것입니다.

그 해결책으로 연구진은 기존 연구에서 영감을 얻은 'tinkering(땜질)' 접근법을 제시합니다. 이는 일반적인 연구자들이 관리할 수 있는 소규모 모델이나 구성 요소를 활용하여 알고리즘과 직접 상호 작용하는 방법입니다. 논문은 'tinkering'이 계산 사회과학에서는 '만들고 아는' 방법이며, 비판적 연구에서는 '아는' 방법이자, 궁극적으로는 두 분야 모두에 광범위한 영향을 미치는 '돌보는' 방법이라고 주장합니다.

즉, 거대 모델에 대한 의존성을 벗어나 소규모 모델을 직접 다루고 수정하며, 알고리즘의 작동 원리를 깊이 있게 이해하고, 재현성 있는 연구 결과를 도출하는 데 집중하는 전략입니다. 이는 단순한 기술적 해결책을 넘어, 학계 연구의 자율성과 독립성을 확보하는 중요한 방법론적 전환을 의미합니다. '땜질'이라는 다소 소박한 표현 속에 담긴 이러한 학문적 저항은 AI 시대의 학계 연구에 새로운 가능성을 제시합니다. 앞으로 'tinkering' 접근법이 학계에 어떤 영향을 미칠지, 그리고 이를 통해 어떤 새로운 발견과 통찰이 나올지 기대됩니다.