소형 모델의 약진: 기능 호출 생성에서 SLM의 가능성과 과제

소형 언어 모델(SLM)이 기능 호출 생성 작업에서 효율성과 속도 면에서 우수한 성능을 보였지만, 출력 형식 준수 등 개선이 필요한 부분도 존재함을 보여주는 연구 결과입니다. 에지 디바이스 활용 가능성과 향후 연구 방향을 제시합니다.

최근 Ishan Kavathekar, Raghav Donakanti, Ponnurangam Kumaraguru, Karthik Vaidhyanathan이 공동으로 진행한 연구에서 소형 언어 모델(SLM) 의 놀라운 잠재력이 확인되었습니다. 이 연구는 정보 검색, 소프트웨어 엔지니어링, 자동화 등 다양한 분야에서 광범위하게 활용되는 복잡한 작업인 기능 호출(Function Calling) 에 초점을 맞추고 있습니다.

예를 들어, '1월 15일 뉴욕에서 런던으로 가는 가장 짧은 비행편을 예약하세요'라는 질의는 정확한 기능 호출을 생성하기 위한 올바른 매개변수를 식별해야 하는 복잡한 과정을 필요로 합니다. 기존의 대규모 언어 모델(LLM) 은 이러한 과정을 자동화할 수 있지만, 높은 계산 비용과 자원 소모로 인해 자원 제약 환경에서는 실용적이지 않습니다.

반면 SLM은 빠른 응답 시간과 낮은 계산 요구량을 통해 효율적으로 작동하여 에지 디바이스에서의 기능 호출에 대한 훌륭한 대안으로 떠오르고 있습니다. 연구팀은 제로샷, 퓨샷, 파인튜닝 접근 방식을 사용하여 다양한 도메인에서 SLM의 기능 호출 생성 효능을 평가했습니다. 여기에는 프롬프트 인젝션 여부도 포함되었으며, 향후 응용을 위해 미세 조정된 모델도 제공되었습니다.

다양한 지표를 통해 모델 응답을 분석하여 기능 호출 생성의 다양한 측면을 포착했습니다. 또한 에지 디바이스에서 실험을 수행하여 대기 시간과 메모리 사용량 측면에서 성능을 평가하여 실제 적용 가능성에 대한 유용한 통찰력을 제공했습니다.

연구 결과, SLM은 제로샷에서 퓨샷으로 개선되며, 파인튜닝을 통해 최상의 성능을 보였지만, 주어진 출력 형식을 준수하는 데는 어려움을 겪는 것으로 나타났습니다. 프롬프트 인젝션 실험은 모델이 일반적으로 강력하며 성능 저하가 미미함을 보여주었습니다. SLM이 기능 호출 생성 작업에 대한 잠재력을 보여주긴 했지만, 실시간 작동을 위해서는 추가적인 개선이 필요하다는 점을 시사합니다. 이는 향후 SLM 연구 및 개발의 중요한 방향을 제시합니다.

결론적으로, 이 연구는 SLM이 LLM을 대체할 수 있는 강력한 후보임을 보여주는 동시에, 실제 적용을 위한 몇 가지 과제를 제시합니다. 특히 출력 형식 준수와 관련된 문제는 향후 연구에서 집중적으로 다루어져야 할 중요한 부분입니다. 소형 모델의 발전이 계속됨에 따라, SLM은 에지 컴퓨팅 및 자원 제약 환경에서 기능 호출 생성을 위한 더욱 효율적이고 강력한 솔루션으로 자리매김할 것으로 기대됩니다.