헌법 또는 붕괴? LLaMA 3-8B를 이용한 Constitutional AI 탐구

Xue Zhang의 연구는 LLaMA 3-8B 모델에 Constitutional AI를 적용하여 유해성 감소에 성공했으나, 유용성 저하 및 모델 붕괴 가능성을 확인했습니다. 이는 자기 개선 능력이 모델 규모와 밀접한 관련이 있음을 시사하며, AI 모델 개발의 안전성과 효율성에 대한 추가적인 연구가 필요함을 강조합니다.

거대 언어 모델의 시대, 양날의 검: 인공지능(AI) 언어 모델이 발전하면서 그 크기는 기하급수적으로 증가하고 있습니다. 하지만 이러한 성장에는 엄청난 양의 고품질 학습 데이터가 필요하며, 이는 막대한 비용과 시간을 필요로 하는 인간의 피드백에 크게 의존합니다. 인간의 주관적인 판단이 개입되는 만큼, 유용성과 유해성 사이의 균형을 맞추는 것도 어려운 과제입니다.

Anthropic의 Constitutional AI: 혁신적인 해결책?: 2022년 12월 Anthropic이 소개한 Constitutional AI는 이러한 문제에 대한 혁신적인 해결책으로 제시되었습니다. AI가 스스로 다른 AI를 평가하고 피드백을 제공하는 방식으로, 인간의 개입을 최소화하고 효율성을 높이는 접근법입니다. 하지만 이 방법은 약 520억 개의 매개변수를 가진 모델에 맞춰 설계되었으며, LLaMA 3-8B와 같이 더 작은 모델에 적용했을 때의 성능에 대한 정보는 부족했습니다.

Xue Zhang의 연구: 작은 모델에서의 Constitutional AI 성능은?: Xue Zhang의 연구는 바로 이 지점에 주목합니다. 연구진은 LLaMA 3-8B 모델에 Constitutional AI 워크플로우를 적용하는 실험을 진행했습니다. 그 결과, Constitutional AI가 모델의 유해성을 효과적으로 줄이는 데 성공, MT-Bench에서 공격 성공률을 40.8%나 감소시켰습니다.

하지만, 빛과 그림자: 하지만 이러한 성공에는 대가가 따랐습니다. 유용성 지표는 기준점 대비 9.8%나 감소했습니다. 더욱 심각한 것은, 최종 DPO-CAI 모델에서 명확한 모델 붕괴의 징후가 관찰되었다는 점입니다. 이는 작은 모델의 경우 출력 품질이 부족하여 자기 개선이 어려울 수 있으며, 효과적인 미세 조정이 더욱 어렵다는 것을 시사합니다.

결론: 자기 개선은 특정 규모 이상의 모델에서 나타나는 특성일까?: 연구 결과는 추론 및 수학 능력과 마찬가지로 자기 개선 능력 또한 특정 규모 이상의 모델에서 나타나는 'emergent property'(출현 특성)'일 가능성을 시사합니다. 거대 언어 모델의 발전은 계속되겠지만, 모델의 크기와 성능, 그리고 안전성 사이의 균형을 어떻게 맞출 것인가에 대한 숙제는 여전히 남아 있습니다. 작은 모델에서의 Constitutional AI 적용은 더욱 심도있는 연구가 필요하며, 모델 붕괴 문제에 대한 해결책 또한 앞으로 극복해야 할 중요한 과제로 남아있습니다.