Orak: 게임 산업의 미래를 바꿀 LLM 에이전트 벤치마크

크래프톤 AI 팀이 개발한 Orak 벤치마크는 12개의 다양한 게임을 활용하여 LLM 에이전트를 훈련하고 평가하는 혁신적인 플랫폼입니다. MCP 인터페이스와 미세 조정 데이터셋을 제공하며, 포괄적인 평가 프레임워크를 통해 범용 게임 에이전트 개발을 위한 기반을 마련합니다.

게임의 판도를 바꿀 혁신적인 벤치마크, Orak 등장!

크래프톤 AI 팀이 개발한 Orak이 게임 산업에 새로운 지평을 열었습니다. Orak은 다양한 비디오 게임에서 LLM(대규모 언어 모델) 에이전트를 훈련하고 평가하기 위한 획기적인 벤치마크입니다. 지금까지의 게임 벤치마크는 게임 장르의 다양성, 복잡한 게임 플레이에 필수적인 에이전트 모듈, 그리고 사전 훈련된 LLM을 게임 에이전트에 맞추는 미세 조정 데이터셋 부족 등의 문제점을 안고 있었습니다.

하지만 Orak은 이러한 문제점들을 완벽히 해결합니다. 12개의 인기 게임을 망라하며, 모든 주요 장르를 아우르는 포괄적인 벤치마크로서, LLM의 능력과 복잡한 게임 시나리오에 필수적인 에이전트 모듈을 종합적으로 연구할 수 있는 기반을 마련했습니다. 더 나아가, Model Context Protocol(MCP) 기반의 플러그 앤 플레이 인터페이스를 도입하여 LLM이 게임과 에이전트 모듈을 매끄럽게 연결할 수 있도록 지원합니다.

또한, Orak은 다양한 게임 장르에 걸친 LLM 게임 플레이 경로를 포함하는 미세 조정 데이터 세트를 제공합니다. 이를 통해 개발자들은 사전 훈련된 LLM을 게임 에이전트에 효과적으로 적용할 수 있습니다. 평가 방식 또한 혁신적입니다. 일반적인 게임 점수 순위표, LLM 대결 경기장은 물론, 시각적 입력 상태, 에이전트 전략, 미세 조정 효과에 대한 심층 분석까지 제공하여, 진정한 의미의 ‘범용 게임 에이전트’ 개발의 초석을 다지고 있습니다.

Orak의 핵심은 다음과 같습니다:

• 다양한 게임 장르 지원: 12개의 인기 게임을 포함하여 다양한 게임 경험을 제공합니다.
• MCP 기반 플러그 앤 플레이 인터페이스: LLM과 게임 간의 원활한 연결을 보장합니다.
• 미세 조정 데이터셋 제공: LLM을 게임 에이전트에 맞추는 데 필요한 데이터를 제공합니다.
• 포괄적인 평가 프레임워크: 게임 점수, LLM 대결, 심층 분석 등 다양한 평가 지표를 제공합니다.

Orak의 등장은 게임 산업에 큰 변화를 가져올 것으로 예상됩니다. 더욱 지능적이고 인간적인 게임 캐릭터, 그리고 더욱 몰입감 있는 게임 경험을 제공하는 혁신적인 게임 개발의 시대가 열리고 있습니다. Github (https://github.com/krafton-ai/Orak) 에서 Orak 코드를 확인해 보세요!