AI 모델의 편향, 프롬프트 적응으로도 사라지지 않는다: 놀라운 연구 결과
새로운 연구에 따르면, 대규모 언어 모델(LLM)의 성별 편향은 프롬프트 기반 적응을 통해서도 사라지지 않고 유지됩니다. 이는 AI 모델의 공정성 확보를 위해 사전 훈련 단계부터 편향을 최소화해야 함을 시사합니다.

최근, Natalie Mackraz 등 7명의 연구자들이 진행한 연구가 AI 업계에 큰 파장을 일으키고 있습니다. 그들의 연구는 대규모 언어 모델(LLM)의 성별 편향이 프롬프트 기반 적응을 통해서도 그대로 유지된다는 사실을 밝혔기 때문입니다. 이는 기존의 미세 조정(fine-tuning) 방식과는 다른, 훨씬 더 심각한 문제를 제기합니다.
기존 연구는 미세 조정 방식에 초점을 맞추었지만…
지금까지의 많은 연구들은 미세 조정을 통한 LLM 적응 과정에서의 편향 전이에 대한 연구에 집중해왔습니다. 이러한 연구들은 사전 훈련된 모델의 공정성이 미세 조정 후 모델의 공정성에 제한적인 영향을 미친다는 사실을 밝혀냈습니다. 그러나 이번 연구는 프롬프트 기반 적응, 즉 모델을 직접 수정하지 않고 프롬프트만으로 모델의 동작을 제어하는 방식에 초점을 맞췄습니다. 프롬프트 기반 적응은 계산 효율성이 높고 실제 시스템에 적용하기 용이하다는 장점이 있습니다.
놀라운 발견: 편향의 강력한 상관관계
연구팀은 Mistral, Falcon, Llama 등 여러 사전 훈련된 LLM을 대상으로 대명사 공참조 해결 작업을 이용하여 편향을 분석했습니다. 그 결과, 놀랍게도 사전 훈련된 모델의 편향과 프롬프트 기반 적응 후 모델의 편향 간에 매우 높은 상관관계(rho >= 0.94)가 존재하는 것을 발견했습니다. 이는 사전 훈련 단계에서의 편향이 프롬프트 적응 과정을 거쳐도 그대로 유지됨을 의미합니다. 심지어 모델이 공정한 행동을 보이도록 특별히 프롬프트를 구성하더라도 (rho >= 0.92), 또는 몇 번의 예시(few-shot)를 사용하거나 고정관념적인 구성을 바꾸더라도 (rho >= 0.97) 이러한 높은 상관관계는 유지되었습니다.
결론: 사전 훈련 단계의 중요성 강조
이 연구는 사전 훈련된 LLM의 공정성 확보가 얼마나 중요한지를 다시 한번 강조합니다. 특히 프롬프트 기반 적응 방식은 실제 시스템에 AI를 도입하는 데 널리 사용되고 있기 때문에, 사전 훈련 단계에서부터 편향을 최소화하기 위한 노력이 절실합니다. 이 연구 결과는 AI 개발자들에게 AI 시스템의 공정성 확보를 위한 새로운 도전과제를 제시하며, 더욱 공정하고 윤리적인 AI 개발을 위한 중요한 이정표가 될 것입니다. 향후 연구에서는 프롬프트 설계 및 LLM 사전 훈련 과정에서의 편향 완화 전략에 대한 더욱 심도있는 연구가 필요할 것입니다.
Reference
[arxiv] Evaluating Gender Bias Transfer between Pre-trained and Prompt-Adapted Language Models
Published: (Updated: )
Author: Natalie Mackraz, Nivedha Sivakumar, Samira Khorshidi, Krishna Patel, Barry-John Theobald, Luca Zappella, Nicholas Apostoloff
http://arxiv.org/abs/2412.03537v1