AI의 새로운 도전: 얽힌 지시사항 따라잡기 가능할까?

Chi Han 연구원의 연구는 대규모 언어 모델(LLM)이 여러 개의 얽힌 지시사항을 처리하는 데 어려움을 겪는다는 사실을 밝혔습니다. MultiTurnInstruct 데이터셋을 이용한 실험 결과, GPT 모델은 기억력은 뛰어나지만 개인 정보 보호 등 복잡한 상황 대처 능력은 부족한 것으로 나타났습니다. 이는 AI의 발전을 위한 중요한 과제임을 시사합니다.

인공지능(AI)의 발전은 놀랍습니다. 특히 대규모 언어 모델(LLM)은 우리의 지시를 놀라울 정도로 잘 따라합니다. 하지만, Chi Han 연구원의 최근 연구는 AI의 한계를 명확히 보여줍니다. 바로 여러 지시사항이 서로 얽히고 설켜 있을 때의 문제입니다.

'Can Language Models Follow Multiple Turns of Entangled Instructions?' 라는 제목의 이 논문은 LLM이 여러 지시사항을 처리하는 능력, 특히 서로 상충하거나 복잡하게 얽혀있는 경우의 능력을 체계적으로 분석했습니다. 실생활에선 개인 정보 보호, 선호도, 우선순위 등 여러 지시사항이 동시에 작용하며, 이들을 조화롭게 처리하는 능력이 매우 중요합니다.

연구팀은 MultiTurnInstruct라는 새로운 데이터셋을 만들었습니다. 약 1,100개의 고품질 다중 턴 대화를 인간의 개입을 통해 수집하여 만들어진 이 데이터셋은 LLM의 능력을 평가하는데 사용되었습니다. 평가는 크게 세 가지 수준으로 나뉩니다.

1. 정보 검색: 지시사항에서 필요한 정보를 정확히 찾아내는 능력
2. 추적 및 추론: 여러 차례의 지시사항을 기억하고, 그 관계를 이해하며 추론하는 능력
3. 상충 지시 해결: 서로 모순되는 지시사항이 있을 때, 이를 적절히 해결하는 능력

연구 결과는 흥미로운 점을 보여줍니다. GPT 모델들은 놀라운 기억력을 보였지만, 개인 정보 보호와 같이 특정 정보를 숨겨야 하는 작업에서는 성능이 떨어졌습니다. 더 큰 모델은 추론 능력이 뛰어났지만, 상충되는 지시사항을 해결하는 데는 여전히 어려움을 겪었습니다. 단순히 정보를 잊어버려서 발생하는 문제는 아니었습니다. 모델이 정보는 잘 기억하지만, 여러 지시사항의 관계를 효과적으로 통합하지 못했기 때문입니다.

결론적으로, 이 연구는 복잡한 실제 상황에서 여러 지시사항을 처리하는 LLM의 능력에 대한 중요한 통찰력을 제공합니다. 더욱 발전된 AI를 위해서는 단순히 정보 기억 능력뿐만 아니라, 다양한 지시사항을 효과적으로 통합하고 상충되는 요구사항을 해결하는 능력을 향상시켜야 함을 시사합니다. 이는 AI 연구의 새로운 도전 과제이자, 동시에 흥미로운 미래를 예고합니다.