인공지능의 새로운 지평: InstructRAG, 작업 계획의 혁신을 이끌다!

Zheng Wang 등 연구진은 LLM 기반 작업 계획의 한계를 극복하기 위해 RAG와 다중 에이전트 메타 강화 학습 프레임워크를 활용한 InstructRAG을 제안했습니다. Instruction Graph, RL-Agent, ML-Agent를 통해 확장성과 전이성을 향상시켜 기존 방식보다 최대 19.2% 향상된 성능을 달성했습니다.

최근 거대 언어 모델(LLM)의 발전은 복잡한 작업 계획에 대한 새로운 가능성을 열었습니다. Zheng Wang 등 연구진이 발표한 논문 "InstructRAG: Leveraging Retrieval-Augmented Generation on Instruction Graphs for LLM-Based Task Planning"은 LLM 기반 작업 계획의 혁신적인 접근법을 제시합니다.

기존의 LLM 기반 작업 계획은 thought-action-observation (TAO) 프로세스에 의존하는 경우가 많았습니다. 하지만 이러한 방식은 LLM의 제한된 지식으로 인해 복잡한 작업 계획에 어려움을 겪었습니다.

InstructRAG은 이러한 한계를 극복하기 위해 Retrieval-Augmented Generation (RAG) 을 도입했습니다. RAG는 외부 데이터베이스를 활용하여 생성 과정에 필요한 정보를 추가적으로 제공함으로써 LLM의 지식 범위를 확장하는 기술입니다. 하지만 RAG를 작업 계획에 적용하는 데에는 확장성과 전이성이라는 두 가지 중요한 과제가 존재합니다.

연구진은 이러한 과제를 해결하기 위해 다중 에이전트 메타 강화 학습 프레임워크를 기반으로 InstructRAG을 설계했습니다. InstructRAG의 핵심은 다음과 같습니다.

• Instruction Graph: 과거의 성공적인 작업 경로(정답 행동 순서)를 그래프 형태로 체계적으로 정리합니다. 이를 통해 LLM은 과거의 경험으로부터 학습하고 더 효율적으로 계획을 수립할 수 있습니다.
• 강화 학습 에이전트 (RL-Agent): 그래프의 범위를 확장하여 InstructRAG의 확장성을 높입니다. 새로운 작업 상황에 대한 경험을 축적하고, 더욱 다양한 작업을 처리할 수 있도록 학습합니다.
• 메타 학습 에이전트 (ML-Agent): 새로운 작업에 대한 일반화 능력을 향상시켜 전이성을 높입니다. 다양한 작업에 대한 경험을 바탕으로, 새로운 유형의 작업에도 빠르게 적응하고 최적의 계획을 생성할 수 있도록 학습합니다.

두 에이전트는 end-to-end로 학습되어 전체적인 계획 성능을 최적화합니다. 네 개의 널리 사용되는 작업 계획 데이터 세트에 대한 실험 결과, InstructRAG은 기존 최고 성능보다 최대 19.2% 향상된 성능을 달성했습니다. 이는 InstructRAG이 복잡한 작업 계획에서 탁월한 성능과 효율적인 적응력을 가짐을 보여줍니다.

InstructRAG는 LLM 기반 작업 계획 분야의 획기적인 발전으로, 자율 주행, 로보틱스, 게임 AI 등 다양한 분야에 혁신적인 영향을 미칠 것으로 기대됩니다. 앞으로 InstructRAG의 발전과 응용 분야 확장에 대한 지속적인 관심이 필요합니다.