πŸš¨λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈμ˜ 취약점 뢄석: μ λŒ€μ  곡격과 μ˜ˆμƒμΉ˜ λͺ»ν•œ μž…λ ₯에 λŒ€ν•œ λ°©μ–΄λ ₯은?


λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)의 μ λŒ€μ  강건성과 뢄포 μ™Έ 강건성 κ°„μ˜ 상관관계에 λŒ€ν•œ 연ꡬ κ²°κ³Ό, λͺ¨λΈ 크기와 μ•„ν‚€ν…μ²˜μ— λ”°λ₯Έ 상관관계 차이, 그리고 ν•˜μ΄λΈŒλ¦¬λ“œ 강건성 ν”„λ ˆμž„μ›Œν¬μ˜ μ€‘μš”μ„±μ„ μ œμ‹œν•˜λŠ” κΈ°μ‚¬μž…λ‹ˆλ‹€.

related iamge

AI의 μˆ¨κ²¨μ§„ 약점: λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈμ˜ 강건성, κ³Όμ—° μ•ˆμ „ν•œκ°€?

졜근 κΈ‰μ¦ν•˜λŠ” λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)의 ν™œμš©μ€ κ·Έ 강건성에 λŒ€ν•œ 깊이 μžˆλŠ” 이해λ₯Ό μš”κ΅¬ν•©λ‹ˆλ‹€. April Yang, Jordan Tab, Parth Shah, Paul Kotchavong μ—°κ΅¬νŒ€μ€ LLM의 μ λŒ€μ  방해와 뢄포 μ™Έ(OOD) μž…λ ₯에 λŒ€ν•œ 강건성 κ°„μ˜ 상관관계λ₯Ό λ©΄λ°€νžˆ μ‘°μ‚¬ν•œ 연ꡬ κ²°κ³Όλ₯Ό λ°œν‘œν–ˆμŠ΅λ‹ˆλ‹€. 이 μ—°κ΅¬λŠ” 강건성 ν‰κ°€μ˜ μ€‘μš”ν•œ 곡백을 λ©”μš°λŠ” 획기적인 μ‹œλ„μž…λ‹ˆλ‹€.

μ—°κ΅¬νŒ€μ€ ν•œ μœ ν˜•μ˜ 강건성을 ν–₯μƒμ‹œν‚€λ„λ‘ μ„€κ³„λœ 방법듀을 두 κ°€μ§€ 상황 λͺ¨λ‘μ— μ μš©ν•˜μ—¬, μ λŒ€μ  및 뢄포 μ™Έ 벀치마크 λ°μ΄ν„°μ…‹μ—μ„œμ˜ μ„±λŠ₯을 λΆ„μ„ν–ˆμŠ΅λ‹ˆλ‹€. ν…μŠ€νŠΈ μƒ˜ν”Œμ„ μž…λ ₯으둜 μ‚¬μš©ν•˜μ—¬ λ‹€μ–‘ν•œ μžμ—°μ–΄ μΆ”λ‘  μž‘μ—…μ—μ„œ 정확도, 정밀도, μž¬ν˜„μœ¨, F1 점수λ₯Ό ν‰κ°€ν–ˆμŠ΅λ‹ˆλ‹€.

λ†€λΌμš΄ 발견: κ°•κ±΄μ„±μ˜ μƒκ΄€κ΄€κ³„λŠ” λͺ¨λΈλ§ˆλ‹€ λ‹€λ₯΄λ‹€!

연ꡬ κ²°κ³ΌλŠ” μ λŒ€μ  강건성과 OOD 강건성 κ°„μ˜ μƒν˜Έμž‘μš©μ΄ λ―Έλ¬˜ν•¨μ„ λ³΄μ—¬μ€λ‹ˆλ‹€. 두 강건성 μœ ν˜• κ°„μ˜ 전이성은 μ œν•œμ μ΄μ—ˆμŠ΅λ‹ˆλ‹€. λ”μš± λ†€λΌμš΄ 점은, λͺ¨λΈ 크기와 μ•„ν‚€ν…μ²˜μ— 따라 μ΄λŸ¬ν•œ 상관관계가 크게 λ‹¬λΌμ§„λ‹€λŠ” μ‚¬μ‹€μž…λ‹ˆλ‹€.

  • LLaMA2-7b (μ†Œκ·œλͺ¨ λͺ¨λΈ): μ λŒ€μ  강건성과 OOD 강건성 간에 쀑립적인 상관관계λ₯Ό λ³΄μ˜€μŠ΅λ‹ˆλ‹€.
  • LLaMA2-13b (λŒ€κ·œλͺ¨ λͺ¨λΈ): 음의 상관관계λ₯Ό λ‚˜νƒ€λƒˆμŠ΅λ‹ˆλ‹€. 즉, μ λŒ€μ  곡격에 κ°•ν•œ λͺ¨λΈμ΄ OOD μž…λ ₯에 μ•½ν•  수 μžˆλ‹€λŠ” 것을 μ˜λ―Έν•©λ‹ˆλ‹€.
  • Mixtral: 도메인 νŠΉμ • μ •λ ¬λ‘œ 인해 μ–‘μ˜ 상관관계λ₯Ό λ³΄μ˜€μŠ΅λ‹ˆλ‹€.

μ΄λŸ¬ν•œ κ²°κ³ΌλŠ” νŠΉμ • λͺ¨λΈκ³Ό 도메인에 맞좰 μ„€κ³„λœ μ λŒ€μ  및 OOD μ „λž΅μ„ ν†΅ν•©ν•˜λŠ” ν•˜μ΄λΈŒλ¦¬λ“œ 강건성 ν”„λ ˆμž„μ›Œν¬μ˜ μ€‘μš”μ„±μ„ κ°•μ‘°ν•©λ‹ˆλ‹€. λ”μš± μ•ˆμ •μ μ΄κ³  μΌλ°˜ν™” κ°€λŠ₯ν•œ LLM을 κ°œλ°œν•˜κΈ° μœ„ν•΄μ„œλŠ” 더 큰 λͺ¨λΈκ³Ό λ‹€μ–‘ν•œ μ•„ν‚€ν…μ²˜μ— 걸쳐 μ΄λŸ¬ν•œ μƒν˜Έ μž‘μš©μ„ ν‰κ°€ν•˜λŠ” μΆ”κ°€ 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.

결둠적으둜, LLM의 강건성은 λ‹¨μˆœνžˆ ν•˜λ‚˜μ˜ μ§€ν‘œλ‘œ 평가될 수 μ—†λ‹€λŠ” 것을 μ‹œμ‚¬ν•©λ‹ˆλ‹€. λͺ¨λΈμ˜ 크기, μ•„ν‚€ν…μ²˜, 그리고 적용 뢄야에 따라 닀각적인 평가와 λ§žμΆ€ν˜• 강건성 μ „λž΅μ΄ ν•„μˆ˜μ μž…λ‹ˆλ‹€. AI μ‹œμŠ€ν…œμ˜ μ•ˆμ „μ„±κ³Ό μ‹ λ’°μ„± 확보λ₯Ό μœ„ν•΄μ„œλŠ” μ΄λŸ¬ν•œ 연ꡬ κ²°κ³Όλ₯Ό ν† λŒ€λ‘œ 지속적인 λ…Έλ ₯이 ν•„μš”ν•©λ‹ˆλ‹€. 😊


*이 κΈ°μ‚¬λŠ” AIκ°€ μƒμ„±ν•œ λ‚΄μš©μœΌλ‘œ, 일뢀 정보가 μ‹€μ œμ™€ λ‹€λ₯Ό 수 μžˆμŠ΅λ‹ˆλ‹€. μ •ν™•ν•œ 확인을 μœ„ν•΄ 좔가적인 검증을 ꢌμž₯λ“œλ¦½λ‹ˆλ‹€.

Reference

[arxiv] On Adversarial Robustness and Out-of-Distribution Robustness of Large Language Models

Published: Β (Updated: )

Author: April Yang, Jordan Tab, Parth Shah, Paul Kotchavong

http://arxiv.org/abs/2412.10535v1