코드 장벽: LLM은 실제로 무엇을 이해할까요?

LLM의 코드 이해 능력에 대한 심층 연구 결과, 코드 난독화를 통해 측정한 결과 난독화 복잡도가 높아질수록 성능 저하가 나타났으나, 범용 모델이 코드 특화 모델보다 더 나은 탄력성을 보였다는 점을 발견했습니다. 이는 LLM의 의미론적 이해에 대한 추가 연구가 필요함을 시사합니다.

소프트웨어 개발 자동화를 위해서는 코드를 이해하는 능력이 필수적입니다. LLM(대규모 언어 모델)과 같은 기반 모델은 여러 소프트웨어 엔지니어링 과제에서 놀라운 결과를 보여주지만, 단순한 토큰 인식을 넘어선 진정한 의미론적 이해의 범위는 여전히 불분명합니다.

서지 리오넬 니키마를 비롯한 연구팀은 최근 발표한 논문, "The Code Barrier: What LLMs Actually Understand?" 에서 코드 난독화를 구조화된 테스트 프레임워크로 사용하여 LLM의 의미론적 이해 능력을 평가했습니다. 연구팀은 소스 코드에 제어된 난독화 변경을 체계적으로 적용하고, 난독화된 코드에 대한 정확한 설명 생성과 난독화 해제(역공학 응용 프로그램에 중요한 의미를 지닌 기술)라는 두 가지 보완적인 작업을 통해 이해력을 측정했습니다.

연구에는 StarCoder2와 같은 코드 특화 모델과 GPT-4o와 같은 범용 모델을 포함한 13가지 최첨단 모델이 포함되었으며, CodeNet에서 가져온 250개의 Java 프로그래밍 문제 및 해결책으로 구성된 벤치마크에서 평가되었습니다.

결과는 흥미롭습니다. 난독화의 복잡성이 증가함에 따라 통계적으로 유의미한 성능 저하가 나타났습니다. 놀랍게도 범용 모델은 코드 중심 모델에 비해 예상치 못한 탄력성을 보였습니다. 일부 모델은 난독화 기법을 성공적으로 식별했지만, 기본 프로그램 논리를 재구성하는 능력은 제한적이었으며, 이는 의미론적 표현 메커니즘의 한계를 시사합니다.

이 연구는 언어 모델에서 코드 이해력을 평가하는 새로운 평가 방식을 제시하고, 역공학 및 적대적 코드 분석과 같은 보안에 중요한 코드 분석 응용 프로그램에 대한 연구를 발전시키기 위한 경험적 기준을 마련했습니다. 즉, LLM이 코드를 '이해'하는 수준은 아직 완벽하지 않으며, 특히 복잡한 코드 난독화에 취약하다는 점을 보여줍니다. 향후 연구는 LLM의 의미론적 이해 능력 향상을 위한 새로운 기술 개발에 초점을 맞춰야 할 것입니다. 이는 사이버 보안 및 소프트웨어 엔지니어링 분야에 중요한 시사점을 제공합니다.