HALO: 다중 에이전트 LLM 시스템을 위한 계층적 자율 논리 기반 조정 프레임워크 등장!

Zhipeng Hou, Junyi Tang, Yipeng Wang 연구팀이 개발한 HALO는 계층적 추론 아키텍처를 기반으로 한 다중 에이전트 협업 프레임워크로, 다양한 벤치마크에서 최첨단 성능을 기록하며 LLM 기반 MAS 연구의 새로운 가능성을 열었습니다. 특히 적응형 프롬프트 개선 모듈을 통해 전문 지식이 없는 사용자도 쉽게 활용할 수 있다는 점이 주목할 만합니다.

혁신적인 다중 에이전트 시스템 HALO: LLM의 한계를 뛰어넘다!

최근 대규모 언어 모델(LLM) 기반의 다중 에이전트 시스템(MAS)이 다양한 작업 환경에서 엄청난 잠재력을 보여주고 있습니다. 하지만 기존 시스템들은 미리 정의된 에이전트 역할과 정적인 통신 구조에 의존하여, 복잡한 상호 작용 환경에서는 유연성과 적응력이 부족하고 특수하고 전문적인 작업에서는 성능이 저하되는 한계를 가지고 있었습니다.

이러한 문제를 해결하기 위해 등장한 것이 바로 HALO입니다! Zhipeng Hou, Junyi Tang, Yipeng Wang 연구팀이 개발한 HALO는 계층적 추론 아키텍처를 기반으로 한 다중 에이전트 협업 프레임워크입니다. HALO는 작업 분할을 위한 상위 계획 에이전트, 하위 작업별 에이전트 생성을 위한 중간 역할 설계 에이전트, 하위 작업 실행을 위한 하위 추론 에이전트로 구성됩니다.

특히 하위 작업 실행은 구조화된 워크플로 검색 문제로 재구성되어, 몬테카를로 트리 탐색(MCTS)을 통해 에이전트의 행동 공간을 체계적으로 탐색하여 최적의 추론 경로를 생성합니다. 또한, 프롬프트 엔지니어링에 대한 전문 지식이 없는 사용자를 위해 적응형 프롬프트 개선 모듈을 통해 원시 쿼리를 작업별 프롬프트로 변환하는 기능도 제공합니다.

Code Generation(HumanEval), 일반 추론(MMLU), 산술 추론(MATH) 벤치마크 데이터셋에서의 실험 결과는 HALO의 효과를 명확히 보여줍니다. 최첨단 기준 모델 대비 평균 14.4%의 성능 향상을 달성했으며, MMLU 벤치마크의 도덕적 시나리오 과제에서는 최대 13.3%, MATH 벤치마크의 대수 분야에서는 최대 19.6%의 성능 향상을 기록했습니다. 이는 HALO가 특수하고 전문적인 작업에서도 뛰어난 성능을 발휘함을 의미합니다. HALO의 코드 저장소는 https://github.com/23japhone/HALO 에서 확인할 수 있습니다.

HALO의 등장은 LLM 기반 MAS 연구에 새로운 가능성을 제시하며, 보다 복잡하고 전문적인 작업에서도 AI의 활용 범위를 크게 확장할 것으로 기대됩니다. 앞으로 HALO가 어떻게 발전하고 다양한 분야에 적용될지 주목할 필요가 있습니다.