AI가 만든 코드, 사람이 만든 코드? AIGCodeSet 데이터셋이 밝히는 진실


본 기사는 Basak Demirok과 Mucahid Kutlu 연구팀이 개발한 AIGCodeSet 데이터셋에 대한 내용을 다룹니다. AIGCodeSet은 AI 생성 코드 탐지를 위한 데이터셋으로, AI가 생성한 코드와 사람이 작성한 코드를 구분하는 연구에 활용될 수 있습니다. 본 연구는 AI 기술 발전에 따른 윤리적 문제 해결에 기여할 것으로 기대됩니다.

related iamge

최근 LLM(대규모 언어 모델)의 눈부신 발전은 다양한 분야에 혁신을 가져왔습니다. 특히 코드 생성 분야에서는 개발자들의 업무 효율을 획기적으로 높였지만, 동시에 교육계에는 새로운 윤리적 딜레마를 안겨주었습니다. 바로 학생들의 과제 제출에 AI를 활용하는 문제입니다.

바로 이 지점에서 Basak Demirok과 Mucahid Kutlu 연구팀이 주목할 만한 연구 결과를 발표했습니다. AIGCodeSet이라는 새로운 데이터셋을 통해 AI가 생성한 코드와 사람이 작성한 코드를 구분하는 연구의 새로운 지평을 열었죠. 이 연구의 핵심은 바로 AI 생성 코드 탐지에 특화된 데이터셋을 구축했다는 점입니다.

AIGCodeSet: AI 코드 탐지의 새로운 기준

AIGCodeSet은 Python 언어를 중심으로 구축된 데이터셋으로, CodeNet 데이터셋에서 문제 설명과 사람이 작성한 코드를 가져왔습니다. 연구팀은 CodeLlama 34B, Codestral 22B, Gemini 1.5 Flash 등 세 가지 모델을 사용하여 AI가 코드를 생성하도록 했습니다. 그 방법도 다양합니다.

  1. 문제 설명만을 가지고 코드 생성
  2. 문제 설명과 함께 런타임 에러가 있는 코드를 함께 사용하여 생성
  3. 문제 설명과 정답이 틀린 코드를 사용하여 생성

이렇게 세 가지 방법으로 생성된 코드는 후처리 과정을 거쳐 코드 스니펫과 관련 없는 부분을 제거했습니다. 최종적으로 AIGCodeSet은 2,828개의 AI 생성 코드와 4,755개의 사람이 작성한 코드 스니펫으로 구성됩니다.

연구의 의의와 미래

AIGCodeSet의 등장은 AI 생성 코드 탐지 연구에 중요한 전환점을 마련했습니다. 연구팀은 이 데이터셋을 공개하여 다른 연구자들의 활용을 지원하고, 기준 AI 생성 코드 탐지 방법의 성능 결과도 함께 제시했습니다. 이는 앞으로 AI가 생성한 코드와 사람이 작성한 코드를 효과적으로 구분하는 기술 개발에 큰 도움을 줄 것으로 예상됩니다.

AI 기술의 발전과 함께 윤리적인 문제 해결의 중요성이 더욱 커지고 있습니다. AIGCodeSet은 이러한 문제에 대한 해결책을 제시하는 중요한 발걸음이라 할 수 있습니다. 앞으로 AI 생성 콘텐츠 탐지 분야에서 AIGCodeSet의 활용과 더욱 발전된 연구들이 기대됩니다. AI 시대의 윤리적 난제 해결에 한 걸음 더 다가서는 순간입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] AIGCodeSet: A New Annotated Dataset for AI Generated Code Detection

Published:  (Updated: )

Author: Basak Demirok, Mucahid Kutlu

http://arxiv.org/abs/2412.16594v1