최소한의 인간 개입으로 AI의 안전성을 높이는 혁신적인 방법: PT-ALIGN

중국과학원 연구진이 개발한 PT-ALIGN은 인간 개입을 최소화하면서 AI의 안전성을 향상시키는 혁신적인 방법입니다. LLM 자체를 활용하여 긍정적 및 부정적 샘플을 자동으로 개선하고, MLE와 UT 손실 함수를 통해 안전성과 유용성을 동시에 높입니다. 9가지 오픈소스 LLM에 대한 실험 결과, PT-ALIGN의 효과가 입증되었습니다.

최근 ChatGPT나 LLaMA와 같은 AI 에이전트는 주로 강화 학습과 지시 조정을 통해 대규모 언어 모델(LLM)의 출력을 인간의 의도에 맞추고, 출력이 무해하고 유익하도록 보정하는 데 의존해 왔습니다. 하지만 기존 방법들은 고품질 긍정적 샘플의 수동 주석에 크게 의존하며, 잡음이 많은 레이블과 선호하는 응답과 비선호하는 응답 데이터 간의 미세한 차이와 같은 문제에 직면해 왔습니다. 또한 명확한 안전성 차이를 보이는 쉽게 이용 가능한 부정적(toxic) 샘플들은 종종 필터링되어 제거되어, LLM의 안전성 정렬에 도움이 될 수 있는 귀중한 부정적 참조 데이터가 사라지는 문제가 있었습니다.

그 해결책으로 등장한 것이 바로 PT-ALIGN입니다. 중국과학원(CAS) 산하 연구진이 제시한 PT-ALIGN은 인간의 감독을 최소화하기 위해 긍정적 및 부정적 샘플을 자동으로 개선하고 세분화된 이중 지시 조정을 수행하는 새로운 안전 자기 정렬 접근 방식입니다. 긍정적 샘플은 무해한 응답을, 부정적 샘플은 의도적으로 매우 해로운 내용을 포함하여 새로운 감독 신호 역할을 합니다.

PT-ALIGN의 핵심은 LLM 자체를 활용하여 50개 미만의 인간 주석만으로 반복적으로 학습 인스턴스를 생성하고 개선하는 것입니다. 여기에는 최대 가능도 추정(MLE)과 세분화된 비가능성 훈련(UT)이라는 두 가지 손실 함수를 사용하여 LLM의 안전성을 향상시키는 방법이 사용됩니다. MLE 손실은 LLM이 긍정적 샘플을 기반으로 무해한 콘텐츠 생성을 극대화하도록 유도하고, 세분화된 UT 손실은 토큰 수준에서 부정적 샘플을 기반으로 유해한 단어의 출력을 최소화하도록 유도하여 모델이 안전성과 효율성을 분리하고 더 안전한 미세 조정 목표를 향하도록 안내하며, 유익하고 신뢰할 수 있는 콘텐츠 생성 가능성을 높입니다.

9가지 인기 있는 오픈소스 LLM에 대한 실험 결과, PT-ALIGN은 유용성을 유지하면서 안전성 정렬에 효과적임을 보여주었습니다. 이는 AI 안전성 향상에 대한 중요한 발전이며, 향후 연구에서 더욱 발전된 안전한 AI 개발에 기여할 것으로 기대됩니다.

주요 연구진: Jingxin Xu, Guoshun Nan, Sheng Guan, Sicong Leng, Yilian Liu, Zixiao Wang, Yuyang Ma, Zhili Zhou, Yanzhao Hou, Xiaofeng Tao (중국과학원)