챗GPT가 만든 코드, 얼마나 다양할까요? 모델 생성 코드의 알고리즘 다양성 탐구

본 연구는 대규모 언어 모델(LLM)이 생성하는 코드의 다양성을 체계적으로 평가하는 새로운 방법론을 제시하고, 다양한 요인이 코드 다양성에 미치는 영향을 분석했습니다. LLM이 생성한 코드는 알고리즘 다양성이 낮다는 사실을 밝히고, 다양한 모델 조합 및 온도 조절을 통해 다양성을 향상시킬 수 있는 방법을 제시하여 향후 LLM 발전에 기여할 것으로 기대됩니다.

최근 챗GPT와 같은 대규모 언어 모델(LLM)이 자연어 명령어로부터 코드를 생성하는 능력이 놀라울 정도로 발전했습니다. 하지만 이러한 모델이 생성하는 코드의 질을 평가하는 기준은 아직 미흡한 실정입니다. 이에 이승현, 천희재, 장준원, 이동하, 유환조 연구원 팀은 LLM의 코드 생성 능력 평가에 있어 '다양성' 이라는 중요한 측면을 조명하는 연구를 진행했습니다.

기존 연구의 한계를 넘어: 코드 다양성 평가의 새로운 시각

기존 연구들은 LLM이 생성하는 코드의 정확성이나 효율성에 초점을 맞추는 경향이 있었습니다. 하지만 연구팀은 코드의 다양성, 즉 서로 다른 알고리즘을 활용하여 문제를 해결하는 능력이 LLM의 잠재력을 제대로 평가하는 데 매우 중요하다고 주장합니다. 단순히 정답만을 생성하는 것이 아니라, 다양한 접근 방식을 통해 문제 해결에 임하는 능력을 평가해야 한다는 것이죠. 이를 위해 연구팀은 코드 유사성을 고려한 다양한 지표를 도입하여 코드 다양성을 체계적으로 평가하는 새로운 방법론을 제시했습니다. 특히 LLM의 코드 이해 및 추론 능력을 활용한 코드 클러스터링 기법을 통해 모델이 생성한 솔루션에 포함된 알고리즘의 수를 정량적으로 측정하는 데 성공했습니다.

모델 크기, 온도, 튜닝… 코드 다양성에 영향을 미치는 요인은?

연구팀은 다양한 요인이 코드 다양성에 어떤 영향을 미치는지 분석했습니다. 모델의 크기, 생성 과정에서의 온도 설정, 지시어 튜닝, 문제의 복잡도 등이 모두 코드 다양성에 영향을 미치는 것으로 나타났습니다. 흥미롭게도, LLM이 생성한 코드는 인간이 작성한 코드에 비해 알고리즘 다양성이 현저히 낮다는 사실이 밝혀졌습니다. 이러한 결과는 기존 연구에서 간과되었던 중요한 사실입니다.

다양성 향상 전략: 모델 조합과 온도 조절

하지만 희망적인 소식도 있습니다. 연구팀은 서로 다른 LLM의 결과를 결합하거나, 생성 과정에서의 온도(temperature)를 1.0 이상으로 높임으로써 코드의 다양성을 향상시킬 수 있음을 보여주었습니다. 특히 온도를 높이는 방법은 기능적 정확성 저하라는 단점이 있었지만, 연구 결과 다양성 확보에 효과적임을 확인했습니다.

오픈소스 공개: 더 나은 LLM을 향한 여정

연구팀은 연구 결과의 투명성과 재현성을 확보하기 위해, 사용된 코드와 데이터셋을 모두 오픈소스로 공개했습니다. 이는 후속 연구를 위한 중요한 토대를 마련함과 동시에, 더욱 발전된 LLM의 개발을 위한 협력의 장을 열어줄 것으로 기대됩니다. 이번 연구는 LLM의 코드 생성 능력 평가에 대한 새로운 패러다임을 제시하며, 앞으로 더욱 다양하고 창의적인 코드 생성 기술의 발전을 위한 중요한 이정표가 될 것입니다.