π¨λκ·λͺ¨ μΈμ΄ λͺ¨λΈμ μ·¨μ½μ λΆμ: μ λμ 곡격과 μμμΉ λͺ»ν μ λ ₯μ λν λ°©μ΄λ ₯μ?
λκ·λͺ¨ μΈμ΄ λͺ¨λΈ(LLM)μ μ λμ κ°κ±΄μ±κ³Ό λΆν¬ μΈ κ°κ±΄μ± κ°μ μκ΄κ΄κ³μ λν μ°κ΅¬ κ²°κ³Ό, λͺ¨λΈ ν¬κΈ°μ μν€ν μ²μ λ°λ₯Έ μκ΄κ΄κ³ μ°¨μ΄, κ·Έλ¦¬κ³ νμ΄λΈλ¦¬λ κ°κ±΄μ± νλ μμν¬μ μ€μμ±μ μ μνλ κΈ°μ¬μ λλ€.

AIμ μ¨κ²¨μ§ μ½μ : λκ·λͺ¨ μΈμ΄ λͺ¨λΈμ κ°κ±΄μ±, κ³Όμ° μμ νκ°?
μ΅κ·Ό κΈμ¦νλ λκ·λͺ¨ μΈμ΄ λͺ¨λΈ(LLM)μ νμ©μ κ·Έ κ°κ±΄μ±μ λν κΉμ΄ μλ μ΄ν΄λ₯Ό μꡬν©λλ€. April Yang, Jordan Tab, Parth Shah, Paul Kotchavong μ°κ΅¬νμ LLMμ μ λμ λ°©ν΄μ λΆν¬ μΈ(OOD) μ λ ₯μ λν κ°κ±΄μ± κ°μ μκ΄κ΄κ³λ₯Ό λ©΄λ°ν μ‘°μ¬ν μ°κ΅¬ κ²°κ³Όλ₯Ό λ°ννμ΅λλ€. μ΄ μ°κ΅¬λ κ°κ±΄μ± νκ°μ μ€μν 곡백μ λ©μ°λ νκΈ°μ μΈ μλμ λλ€.
μ°κ΅¬νμ ν μ νμ κ°κ±΄μ±μ ν₯μμν€λλ‘ μ€κ³λ λ°©λ²λ€μ λ κ°μ§ μν© λͺ¨λμ μ μ©νμ¬, μ λμ λ° λΆν¬ μΈ λ²€μΉλ§ν¬ λ°μ΄ν°μ μμμ μ±λ₯μ λΆμνμ΅λλ€. ν μ€νΈ μνμ μ λ ₯μΌλ‘ μ¬μ©νμ¬ λ€μν μμ°μ΄ μΆλ‘ μμ μμ μ νλ, μ λ°λ, μ¬νμ¨, F1 μ μλ₯Ό νκ°νμ΅λλ€.
λλΌμ΄ λ°κ²¬: κ°κ±΄μ±μ μκ΄κ΄κ³λ λͺ¨λΈλ§λ€ λ€λ₯΄λ€!
μ°κ΅¬ κ²°κ³Όλ μ λμ κ°κ±΄μ±κ³Ό OOD κ°κ±΄μ± κ°μ μνΈμμ©μ΄ λ―Έλ¬ν¨μ 보μ¬μ€λλ€. λ κ°κ±΄μ± μ ν κ°μ μ μ΄μ±μ μ νμ μ΄μμ΅λλ€. λμ± λλΌμ΄ μ μ, λͺ¨λΈ ν¬κΈ°μ μν€ν μ²μ λ°λΌ μ΄λ¬ν μκ΄κ΄κ³κ° ν¬κ² λ¬λΌμ§λ€λ μ¬μ€μ λλ€.
- LLaMA2-7b (μκ·λͺ¨ λͺ¨λΈ): μ λμ κ°κ±΄μ±κ³Ό OOD κ°κ±΄μ± κ°μ μ€λ¦½μ μΈ μκ΄κ΄κ³λ₯Ό 보μμ΅λλ€.
- LLaMA2-13b (λκ·λͺ¨ λͺ¨λΈ): μμ μκ΄κ΄κ³λ₯Ό λνλμ΅λλ€. μ¦, μ λμ 곡격μ κ°ν λͺ¨λΈμ΄ OOD μ λ ₯μ μ½ν μ μλ€λ κ²μ μλ―Έν©λλ€.
- Mixtral: λλ©μΈ νΉμ μ λ ¬λ‘ μΈν΄ μμ μκ΄κ΄κ³λ₯Ό 보μμ΅λλ€.
μ΄λ¬ν κ²°κ³Όλ νΉμ λͺ¨λΈκ³Ό λλ©μΈμ λ§μΆ° μ€κ³λ μ λμ λ° OOD μ λ΅μ ν΅ν©νλ νμ΄λΈλ¦¬λ κ°κ±΄μ± νλ μμν¬μ μ€μμ±μ κ°μ‘°ν©λλ€. λμ± μμ μ μ΄κ³ μΌλ°ν κ°λ₯ν LLMμ κ°λ°νκΈ° μν΄μλ λ ν° λͺ¨λΈκ³Ό λ€μν μν€ν μ²μ κ±Έμ³ μ΄λ¬ν μνΈ μμ©μ νκ°νλ μΆκ° μ°κ΅¬κ° νμν©λλ€.
κ²°λ‘ μ μΌλ‘, LLMμ κ°κ±΄μ±μ λ¨μν νλμ μ§νλ‘ νκ°λ μ μλ€λ κ²μ μμ¬ν©λλ€. λͺ¨λΈμ ν¬κΈ°, μν€ν μ², κ·Έλ¦¬κ³ μ μ© λΆμΌμ λ°λΌ λ€κ°μ μΈ νκ°μ λ§μΆ€ν κ°κ±΄μ± μ λ΅μ΄ νμμ μ λλ€. AI μμ€ν μ μμ μ±κ³Ό μ λ’°μ± ν보λ₯Ό μν΄μλ μ΄λ¬ν μ°κ΅¬ κ²°κ³Όλ₯Ό ν λλ‘ μ§μμ μΈ λ Έλ ₯μ΄ νμν©λλ€. π
Reference
[arxiv] On Adversarial Robustness and Out-of-Distribution Robustness of Large Language Models
Published: Β (Updated: )
Author: April Yang, Jordan Tab, Parth Shah, Paul Kotchavong
http://arxiv.org/abs/2412.10535v1