Divide-Then-Aggregate: 병렬 도구 호출을 통한 효율적인 도구 학습 방법

Dongsheng Zhu 등 연구진이 개발한 DTA-Llama는 기존 LLM의 도구 학습 방식의 한계를 극복하기 위해 병렬 도구 호출 방식을 도입한 혁신적인 방법입니다. DAG 구조와 프로세스/쓰레드 메커니즘을 활용하여 효율성을 높였으며, Llama2-7B를 이용한 실험에서 GPT-3.5와 유사한 성능을 달성했습니다.

혁신적인 AI 도구 학습 방법: DTA-Llama의 등장

최근 대규모 언어 모델(LLM)이 놀라운 능력을 선보이고 있지만, 복잡한 실제 세계 작업 수행에는 여전히 도구 학습이 필수적입니다. 기존의 CoT/ReAct와 같은 주류 방법들은 단계별 도구 호출에 의존하여 외부 환경과 상호 작용하지만, 지각 범위가 제한적이고 적절한 작업 계획 능력이 부족하다는 한계를 가지고 있습니다. 이러한 한계를 극복하기 위해 등장한 것이 바로 Zhu 등의 연구진이 개발한 DTA-Llama (Divide-Then-Aggregate Llama) 입니다.

기존 방법의 한계 극복: DAG 구조와 병렬 처리

DTA-Llama는 기존의 트리 기반 도구 검색 경로를 Directed Acyclic Graph (DAG) 구조로 변환하여 병렬 도구 호출을 가능하게 합니다. 이를 통해 고품질의 병렬 도구 호출 데이터셋을 생성하고, 이를 바탕으로 DTA-Llama 모델을 학습시킵니다. DTA-Llama는 현재 작업을 여러 개의 병렬 도구 호출 하위 작업으로 분할하고, 그 결과를 집계하여 다음 작업을 결정하는 반복적인 과정을 통해 동작합니다.

효율적인 추론 프레임워크: 프로세스/쓰레드 메커니즘의 활용

연구진은 DTA-Llama를 실제 작업에 적용할 때, 프로세스/쓰레드 메커니즘에서 영감을 받은 효율적인 추론 프레임워크를 도입했습니다. 이는 병렬 처리를 최적화하여 속도와 효율성을 크게 높이는 데 기여합니다.

놀라운 성능 향상: Llama2-7B와의 실험 결과

Llama2-7B 모델을 사용한 실험 결과는 DTA-Llama의 뛰어난 성능을 입증합니다. DTA-Llama를 적용한 Llama2-7B는 작업 성능을 크게 향상시키면서 토큰 소비량과 추론 시간을 동시에 감소시켰습니다. 특히, 놀랍게도 GPT-3.5의 공식적인 병렬 함수 호출 방법과 비교해도 유사한 성능을 달성했습니다. 관련 코드, 데이터셋, 그리고 모델 가중치는 https://corn0205.github.io/ 에서 확인할 수 있습니다.

결론: 새로운 시대의 AI 도구 학습

DTA-Llama는 LLM의 실제 세계 적용 가능성을 한 단계 끌어올리는 혁신적인 도구 학습 방법입니다. 병렬 처리를 통해 효율성을 극대화하고, 복잡한 작업을 효과적으로 수행할 수 있는 가능성을 보여주었습니다. 앞으로 DTA-Llama와 같은 혁신적인 기술들이 더욱 발전하여 AI의 실용성을 더욱 높여줄 것으로 기대됩니다.