LLM의 역할 분리 환상: 숨겨진 지름길과 해결책

본 연구는 LLM의 역할 분리 학습 과정에서 모델이 사용하는 지름길을 밝히고, 불변 신호 강화 및 토큰 기반 큐 조정을 통해 더욱 안정적인 다중 역할 행동을 유지하는 방법을 제시합니다.

최근 급증하는 대규모 언어 모델(LLM)의 활용은 시스템 지시, 사용자 질의, 외부 도구 출력 등 다양한 역할의 입력을 통합하는 방향으로 나아가고 있습니다. 이러한 다중 역할 환경에서 모델이 각 역할의 메시지를 정확하게 구분하는 '역할 분리'는 일관된 모델 행동을 위해 필수적입니다. 하지만, 기존 연구는 최첨단 프롬프트 주입 방어에 초점을 맞춰왔고, 이러한 방법들이 실제로 LLM이 역할을 구분하도록 가르치는지, 아니면 단순히 알려진 트리거를 암기하는 것인지에 대한 의문이 남아있었습니다.

Wang, Jiang, Yu, Huang 등 연구진은 이러한 의문에 답하기 위해 '역할 분리 학습', 즉 LLM이 시스템 및 사용자 토큰을 견고하게 구분하도록 학습시키는 과정을 심층적으로 연구했습니다. 그들은 단순하고 통제된 실험적 프레임워크를 통해 놀라운 사실을 발견했습니다. 미세 조정된 모델들은 역할 식별을 위해 두 가지 지름길에 의존하는 경향이 있었습니다. 첫째는 작업 유형 활용(task type exploitation) 이며, 둘째는 텍스트 시작 부분과의 근접성(proximity to begin-of-text) 입니다.

데이터 증강은 이러한 지름길을 부분적으로 완화할 수 있지만, 근본적인 해결책이라기보다는 일시적인 해결책에 불과하다는 것을 발견했습니다. 연구진은 이 문제를 해결하기 위해 불변 신호(invariant signals) 를 강화하고 모델의 입력 인코딩에서 토큰별 큐를 조정하는 방법을 제안했습니다. 특히, 위치 ID(position IDs)를 조작하여 모델이 더 명확한 구분을 학습하고 표면적인 지름길에 대한 의존성을 줄이는 데 성공했습니다.

이 연구는 단순히 알려진 프롬프트나 트리거를 암기하는 것이 아닌, LLM이 일관된 다중 역할 행동을 더욱 안정적으로 유지하는 방법에 대한 메커니즘 중심의 관점을 제시합니다. LLM의 역할 분리 학습에 대한 이해를 한층 심화시킨 중요한 연구 결과라고 할 수 있습니다. 앞으로의 LLM 개발에 있어서, 단순한 성능 향상을 넘어, 모델의 내부 작동 원리를 이해하고 신뢰성을 높이는 방향으로 나아가야 할 필요성을 강조하는 연구입니다.