π¨ λν λΉμ -μΈμ΄ λͺ¨λΈμ μμ μ μν νμ μ μΈ ν΄κ²°μ± : 'μμ ν€λ'μ λ°κ²¬ π¨
λ³Έ μ°κ΅¬λ λκ·λͺ¨ λΉμ -μΈμ΄ λͺ¨λΈ(LVLMs)μ μμ μ± λ¬Έμ μ μ΄μ μ λ§μΆ°, λͺ¨λΈ λ΄λΆμ 'μμ ν€λ'λ₯Ό λ°κ²¬νκ³ μ΄λ₯Ό νμ©ν μ μ± ν둬ννΈ νμ§κΈ°λ₯Ό κ°λ°ν λ΄μ©μ λ€λ£Ήλλ€. λ¨μν λ‘μ§μ€ν± νκ· λͺ¨λΈ κΈ°λ°μ νμ§κΈ°λ λμ μ λ‘μ· μΌλ°ν μ±λ₯μ 보μ΄λ©°, ν₯ν LVLMsμ μμ μ± ν₯μμ ν¬κ² κΈ°μ¬ν κ²μΌλ‘ μμλ©λλ€.

λν λΉμ -μΈμ΄ λͺ¨λΈμ μμ μ μννλ 'νμ₯' 곡격
μ΅κ·Ό κΈμλλ‘ λ°μ νλ λκ·λͺ¨ λΉμ -μΈμ΄ λͺ¨λΈ(LVLMs)μ μ΄λ―Έμ§μ ν μ€νΈλ₯Ό λμμ μ²λ¦¬νλ©° λλΌμ΄ μ±λ₯μ 보μ¬μ£Όμ§λ§, λμμ μλ‘μ΄ μμ μνμλ μ§λ©΄νκ³ μμ΅λλ€. κΈ°μ‘΄μ μΈμ΄ λͺ¨λΈλ³΄λ€ ν¨μ¬ λ 'νμ₯' 곡격μ μ·¨μ½ν΄μ§ κ²μ΄μ£ . Zheng λ± μ°κ΅¬μ§μ μ΄λ¬ν λ¬Έμ λ₯Ό ν΄κ²°νκΈ° μν νκΈ°μ μΈ μ°κ΅¬ κ²°κ³Όλ₯Ό λ°ννμ΅λλ€.
λͺ¨λΈ λ΄λΆμ 'μ¨κ²¨μ§ λ°©ν¨': μμ ν€λμ λ°κ²¬
μ°κ΅¬μ§μ LVLMsκ° μ΅μ΄ ν ν°μ μμ±νλ κ³Όμ μμ λ°μνλ λ΄λΆ νμ±νλ₯Ό λΆμνμ¬ λλΌμ΄ μ¬μ€μ λ°κ²¬νμ΅λλ€. λ°λ‘ μ μμ μΈ ν둬ννΈλ₯Ό ν¨κ³Όμ μΌλ‘ μλ³νλ 'μμ ν€λ(safety heads)'μ μ‘΄μ¬μ λλ€! μ΄ μμ ν€λλ νΉμ ν¬μ μ΄ν μ ν€λλ‘ κ΅¬μ±λμ΄ μμΌλ©°, λ§μΉ λͺ¨λΈ λ΄λΆμ μ¨κ²¨μ§ λ°©ν¨μ²λΌ μλνμ¬ μ μμ μΈ ν둬ννΈλ‘λΆν° λͺ¨λΈμ 보νΈνλ μν μ μνν©λλ€. μ΄ ν€λλ€μ μ κ±°νλ©΄ 곡격 μ±κ³΅λ₯ μ΄ λμμ§λ λ°λ©΄, λͺ¨λΈμ μ μ©μ±μλ μν₯μ λ―ΈμΉμ§ μλλ€λ μ μ΄ νμΈλμμ΅λλ€.
κ°λ¨νμ§λ§ κ°λ ₯ν μ μ± ν둬ννΈ νμ§κΈ°
μ°κ΅¬μ§μ μ΄λ¬ν μμ ν€λμ νμ±νλ₯Ό κ²°ν©νμ¬, κ°λ¨νλ©΄μλ κ°λ ₯ν μ μ± ν둬ννΈ νμ§κΈ°λ₯Ό κ°λ°νμ΅λλ€. λλκ²λ, λ¨μν λ‘μ§μ€ν± νκ· λͺ¨λΈμμλ λΆκ΅¬νκ³ , μ΄ νμ§κΈ°λ λ€μν ν둬ννΈ κΈ°λ° κ³΅κ²©μ λν΄ νμν μ λ‘μ· μΌλ°ν μ±λ₯μ 보μ¬μ£Όμμ΅λλ€. μΆκ°μ μΈ μΆλ‘ μ€λ²ν€λ μμ΄ λͺ¨λΈ μμ± κ³Όμ μ λ§€λλ½κ² ν΅ν©λ μ μλ€λ μ λ μ₯μ μ λλ€.
μ€ν κ²°κ³Ό λ° μ½λ 곡κ°
λ€μν ν둬ννΈ κΈ°λ° κ³΅κ²©μ λν μ€ν κ²°κ³Όλ μμ ν€λλ₯Ό νμ©νμ¬ LVLMsλ₯Ό 보νΈνλ ν¨κ³Όλ₯Ό λͺ ννκ² λ³΄μ¬μ€λλ€. μ°κ΅¬μ§μ κ΄λ ¨ μ½λλ₯Ό GitHub (https://github.com/Ziwei-Zheng/SAHs)μ 곡κ°νμ¬, λ€λ₯Έ μ°κ΅¬μλ€μ νμ©κ³Ό λ°μ μ μ§μνκ³ μμ΅λλ€.
κ²°λ‘ λ° λ―Έλ μ λ§
μ΄ μ°κ΅¬λ LVLMsμ μμ μ±μ κ°ννκΈ° μν μλ‘μ΄ ν¨λ¬λ€μμ μ μν©λλ€. λͺ¨λΈ λ΄λΆμ μμ λ©μ»€λμ¦μ μ΄ν΄νκ³ νμ©νλ λ°©μμΌλ‘, ν₯ν λμ± μμ νκ³ μ λ’°ν μ μλ AI μμ€ν κ°λ°μ ν¬κ² κΈ°μ¬ν κ²μΌλ‘ κΈ°λλ©λλ€. μμΌλ‘ μμ ν€λμ λν μΆκ°μ μΈ μ°κ΅¬λ₯Ό ν΅ν΄, λμ± μ κ΅νκ³ ν¨μ¨μ μΈ μμ μμ€ν μ ꡬμΆν μ μμ κ²μ λλ€.
Reference
[arxiv] Spot Risks Before Speaking! Unraveling Safety Attention Heads in Large Vision-Language Models
Published: Β (Updated: )
Author: Ziwei Zheng, Junyao Zhao, Le Yang, Lijun He, Fan Li
http://arxiv.org/abs/2501.02029v1