PC Agent: 당신이 잠든 사이, AI가 일한다 - 디지털 세계로의 인지 여정
중국과학원 연구진이 개발한 PC Agent는 인간의 인지 과정을 학습하여 복잡한 디지털 작업을 수행하는 AI 시스템입니다. 소량의 고품질 데이터로 높은 효율성을 보이며, 오픈소싱을 통해 연구 발전에 기여할 것으로 기대됩니다.

잠자는 동안 AI가 연구 자료를 정리하고, 보고서를 작성하고, 다음날 필요한 프레젠테이션을 만들어주는 세상을 상상해보세요. 현재의 디지털 에이전트는 간단한 작업은 수행할 수 있지만, 인간이 일상적으로 수행하는 복잡한 현실 세계의 업무를 처리하기에는 역부족입니다.
중국과학원 소속 연구진(Yanheng He 외 7명) 이 발표한 논문, **"PC Agent: While You Sleep, AI Works"**는 이러한 비전에 한 걸음 더 다가서는 AI 시스템, PC Agent를 제시합니다. 이 연구의 핵심 통찰은 단순한 "작업" 실행에서 복잡한 "업무" 처리로 나아가는 길이 컴퓨터 사용 중 인간의 인지 과정을 효율적으로 포착하고 학습하는 데 있다는 것입니다.
이 가설을 검증하기 위해 연구진은 세 가지 혁신적인 기술을 도입했습니다.
- PC Tracker: 고품질의 인간-컴퓨터 상호 작용 경로를 완전한 인지적 맥락과 함께 효율적으로 수집하는 경량 인프라
- 두 단계 인지 완성 파이프라인: 원시 상호 작용 데이터를 행동 의미와 사고 과정을 완성하여 풍부한 인지 경로로 변환
- 다중 에이전트 시스템: 의사 결정을 위한 계획 에이전트와 강력한 시각적 기반을 위한 기반 에이전트 결합
PowerPoint 프레젠테이션 작성에 대한 예비 실험 결과, 소량의 고품질 인지 데이터만으로도 복잡한 디지털 작업 능력을 달성할 수 있음을 보여줍니다. 단 133개의 인지 경로를 학습한 PC Agent는 여러 애플리케이션에 걸쳐 최대 50단계의 정교한 작업 시나리오를 처리할 수 있습니다. 이는 접근 방식의 데이터 효율성을 보여주며, 능력 있는 디지털 에이전트를 훈련하는 핵심이 인간의 인지 데이터를 수집하는 데 있음을 강조합니다.
연구진은 데이터 수집 인프라와 인지 완성 방법을 포함한 전체 프레임워크를 오픈소싱하여 연구 커뮤니티가 진정으로 능력 있는 디지털 에이전트를 개발할 수 있도록 장벽을 낮추는 것을 목표로 합니다. PC Agent는 단순한 작업 자동화를 넘어, 인간의 인지 과정을 이해하고 학습하는 새로운 시대의 AI를 향한 중요한 발걸음입니다. 앞으로 PC Agent가 어떻게 발전하고 우리의 업무 방식을 변화시킬지 기대됩니다! 잠자는 사이, AI가 여러분의 업무를 처리하는 미래가 머지않았을 수도 있습니다.
Reference
[arxiv] PC Agent: While You Sleep, AI Works -- A Cognitive Journey into Digital World
Published: (Updated: )
Author: Yanheng He, Jiahe Jin, Shijie Xia, Jiadi Su, Runze Fan, Haoyang Zou, Xiangkun Hu, Pengfei Liu
http://arxiv.org/abs/2412.17589v1