LLM 기반 오프라인 시뮬레이션으로 소프트웨어 스크립팅 자동화의 새 지평을 열다

본 기사는 LLM과 오프라인 시뮬레이션을 결합하여 소프트웨어 스크립팅 자동화의 효율성과 안전성을 높인 새로운 연구 결과를 소개합니다. GNN 기반 API 시너지 예측 모델과 실행 피드백을 활용하여 자동화 성공률을 향상시키고 응답 시간과 비용을 절감하는 효과를 확인했습니다.

소프트웨어 스크립팅은 사용자가 작업을 자동화하고 워크플로우를 사용자 지정할 수 있게 해주는 강력한 도구입니다. 하지만 전통적인 스크립팅은 프로그래밍 전문 지식과 특정 API에 대한 이해가 필요하여 많은 사용자에게 진입 장벽이 되어왔습니다.

최근 Large Language Model (LLM)의 발전으로 자연어 질의를 통해 코드를 생성하는 것이 가능해졌지만, 실행 중 코드 생성은 검증되지 않은 코드, 보안 위험, 느린 응답 시간, 높은 계산 비용 등의 문제로 인해 심각한 제약을 받아왔습니다. Paiheng Xu 외 8명의 연구진은 이러한 문제를 해결하기 위해 오프라인 시뮬레이션 프레임워크를 제안했습니다. 이 프레임워크는 LLM과 공개적으로 이용 가능한 스크립팅 가이드를 활용하여 검증된 스크립트 모음인 소프트웨어 특정 기술 세트를 생성합니다.

두 가지 핵심 구성 요소:

1. 작업 생성: 상향식 기능 안내와 하향식 API 시너지 탐색을 사용하여 유용한 작업을 생성합니다. API 간의 상호작용을 효율적으로 파악하기 위해 그래프 신경망(GNN) 기반 링크 예측 모델을 도입하여 활용도가 낮은 API를 포함하는 기술 생성을 가능하게 하고, 기술 세트의 다양성을 확장합니다.
2. 기술 생성: 시행착오를 거치며 실행 피드백에 따라 스크립트를 개선하고 검증합니다. 실행 피드백을 통해 스크립트의 정확성과 효율성을 높이는 과정을 거칩니다.

Adobe Illustrator를 통한 실험 결과:

Adobe Illustrator를 사용한 실험 결과, 이 프레임워크는 기존의 실행 중 코드 생성 방식에 비해 자동화 성공률을 크게 높이고, 응답 시간을 단축하며, 실행 시간 토큰 비용을 절감하는 것으로 나타났습니다. 이는 소프트웨어 스크립팅 인터페이스를 LLM 기반 시스템 테스트 환경으로 사용한 최초의 시도이며, 제어된 환경에서 실행 피드백을 활용하는 장점과 특정 소프트웨어 도메인에서 AI 기능을 사용자 요구 사항에 맞추는 데 대한 귀중한 통찰력을 제공합니다.

이 연구는 LLM의 활용 범위를 소프트웨어 스크립팅 자동화 분야로 확장하고, 오프라인 시뮬레이션을 통해 안전하고 효율적인 스크립트 생성을 가능하게 함으로써 소프트웨어 개발 및 사용자 경험 향상에 크게 기여할 것으로 기대됩니다. 앞으로 더욱 다양한 소프트웨어 및 작업에 대한 적용과 더욱 발전된 시뮬레이션 기법의 개발이 기대됩니다. 이는 AI가 단순한 코드 생성 도구를 넘어 사용자의 실제 요구를 충족하는 지능형 자동화 시스템으로 발전하는 중요한 단계를 보여줍니다.