얽힌 지시사항 여러 번 따라 할 수 있을까요? LLM의 한계와 가능성

대규모 언어 모델(LLM)의 다중 지시사항 처리 능력에 대한 연구 결과, GPT 모델은 기억력은 뛰어나지만 상충되는 지시사항 처리 및 개인정보 보호에는 취약하며, 더 큰 모델은 추론 능력이 향상되었지만 여전히 한계를 보임. 실제 세계 적용을 위한 LLM의 지시사항 통합 및 상충 해결 능력 향상이 중요한 과제임을 강조.

최근 괄목할 만한 발전을 이룬 대규모 언어 모델(LLM)이지만, 여전히 넘어야 할 산이 있습니다. 바로 상호 연관되거나 상충되는 여러 지시사항을 처리하는 능력입니다. 치한 연구원의 논문, "Can Language Models Follow Multiple Turns of Entangled Instructions?"는 이 문제에 대한 날카로운 통찰을 제공합니다.

실생활의 복잡성: 단순 명령어 넘어서

실제 세상은 단순한 명령어 하나로 해결될 수 없습니다. 개인 정보 보호, 개인의 선호도, 우선순위 설정 등 여러 요소가 복합적으로 작용합니다. 이는 LLM이 여러 지시사항을 일관되게 처리하고, 상충되는 목표 사이에서 균형을 맞추는 고도의 능력을 필요로 함을 의미합니다. 연구는 이러한 복잡성을 세 가지 난이도로 나누어 분석했습니다.

1. 정보 검색: 지시사항에서 정보를 검색하는 능력
2. 추적 및 추론: 여러 차례의 지시사항을 추적하고 추론하는 능력
3. 상충 해결: 상충되는 지시사항을 해결하는 능력

MultiTurnInstruct: 인간의 개입으로 완성된 데이터셋

연구진은 인간의 개입을 통해 약 1,100개의 고품질 다중 회차 대화 데이터셋인 MultiTurnInstruct를 구축했습니다. 여기에는 정적 및 동적 특성, 추론, 멀티태스킹 등 9가지 능력 범주가 포함됩니다.

놀라운 결과: 강점과 약점의 공존

연구 결과는 흥미로운 사실을 보여줍니다. GPT 모델은 뛰어난 기억력을 보이지만, 선택적인 정보 은폐가 필요한 개인 정보 보호 작업에서는 효율성이 떨어집니다. 반면 더 큰 모델은 더 강력한 추론 능력을 보이지만 여전히 상충되는 지시사항을 해결하는 데 어려움을 겪습니다.

단순히 정보 손실 때문이라고 단정 지을 수 없습니다. 모델은 기억 작업에서 높은 BLEU 점수를 보이지만, 여러 관련 지시사항을 효과적으로 통합하는 주의 집중 메커니즘에는 한계가 있음을 시사합니다.

미래를 위한 과제: 실제 세계 적용의 어려움

이 연구는 다중 회차 지시사항이 포함된 복잡한 실제 작업에서 LLM의 개선이 필요한 중요한 영역을 강조합니다. LLM의 발전을 위해서는 단순한 기억력 향상뿐 아니라, 여러 지시사항 간의 효과적인 통합 및 상충 해결 능력 향상이 필수적임을 알 수 있습니다. 이는 앞으로 LLM 연구의 중요한 방향이 될 것입니다.