뛰어넘는 AI: 예외 상황 처리 능력 향상을 위한 새로운 접근법

MIT 연구팀은 LLM의 예외 상황 처리 능력 향상을 위한 세 가지 방법을 비교 분석하여, 인간의 설명을 포함한 지도 학습 미세 조정이 가장 효과적임을 밝혔습니다. 이는 AI가 인간의 판단에 부합하고 새로운 상황에도 적응하는 데 중요한 의미를 가집니다.

최근 생성형 AI를 넘어, 실제 세계의 복잡한 상황에서 스스로 판단하고 행동하는 에이전트형 AI가 주목받고 있습니다. 하지만 매사추세츠 공과대학교(MIT) 매튜 도산토스 디소르보, 주하랑, 시난 아랄 연구팀의 연구에 따르면, 이러한 AI 모델들은 예외 상황 처리에 어려움을 겪는다는 사실이 밝혀졌습니다. 이는 계약의 불완전성 등으로 인해 실제 의사결정 과정에서 예외 상황이 필수적으로 발생하기 때문입니다.

연구팀은 뛰어난 추론 능력을 가진 LLM조차도 정해진 규칙에 엄격하게 따라, 비현실적이거나 비효율적인 결정을 내리는 경우가 많다는 것을 발견했습니다. 이 문제를 해결하기 위해, 연구팀은 세 가지 AI 에이전트 튜닝 방법을 평가했습니다.

• 윤리적 프레임워크 프롬프팅: 윤리적 지침을 제시하는 방법은 효과가 미미했습니다.
• 사고 과정 추론: AI의 추론 과정을 명시적으로 제시하는 방법은 약간의 개선을 보였습니다.
• 지도 학습 미세 조정: 인간의 판단과 설명을 기반으로 AI를 학습시키는 방법이 가장 큰 효과를 보였습니다. 놀랍게도, 이 방법은 새로운 상황에도 인간과 유사한 의사결정을 일반화하는 전이 학습 효과를 보였습니다. 단순히 어떤 결정을 내려야 하는지가 아니라, 왜 그런 결정을 내려야 하는지에 대한 설명이 포함되었을 때, AI의 의사결정과 인간의 판단이 더욱 잘 일치했습니다.

이 연구는 에이전트형 AI 개발에 중요한 시사점을 제공합니다. 단순히 생성 능력뿐 아니라, 예외 상황 처리 능력과 인간의 판단과의 일치성을 향상시키는 것이 에이전트 AI의 성공에 필수적입니다. 인간의 설명을 포함한 지도 학습 미세 조정은 AI가 다양한 상황에 적응하며 인간과 효과적으로 협력하는 미래를 열어갈 핵심 기술로 자리매김할 것입니다. 이는 단순히 기술적 진보를 넘어, 인간과 AI의 공존과 협력이라는 더욱 큰 그림 속에서 바라봐야 할 중요한 발견입니다.