🚨 λŒ€ν˜• λΉ„μ „-μ–Έμ–΄ λͺ¨λΈμ˜ μ•ˆμ „μ„ μœ„ν•œ ν˜μ‹ μ μΈ ν•΄κ²°μ±…: 'μ•ˆμ „ ν—€λ“œ'의 발견 🚨


λ³Έ μ—°κ΅¬λŠ” λŒ€κ·œλͺ¨ λΉ„μ „-μ–Έμ–΄ λͺ¨λΈ(LVLMs)의 μ•ˆμ „μ„± λ¬Έμ œμ— μ΄ˆμ μ„ 맞좰, λͺ¨λΈ λ‚΄λΆ€μ˜ 'μ•ˆμ „ ν—€λ“œ'λ₯Ό λ°œκ²¬ν•˜κ³  이λ₯Ό ν™œμš©ν•œ μ•…μ„± ν”„λ‘¬ν”„νŠΈ 탐지기λ₯Ό κ°œλ°œν•œ λ‚΄μš©μ„ λ‹€λ£Ήλ‹ˆλ‹€. λ‹¨μˆœν•œ λ‘œμ§€μŠ€ν‹± νšŒκ·€ λͺ¨λΈ 기반의 νƒμ§€κΈ°λŠ” 높은 μ œλ‘œμƒ· μΌλ°˜ν™” μ„±λŠ₯을 보이며, ν–₯ν›„ LVLMs의 μ•ˆμ „μ„± ν–₯상에 크게 κΈ°μ—¬ν•  κ²ƒμœΌλ‘œ μ˜ˆμƒλ©λ‹ˆλ‹€.

related iamge

λŒ€ν˜• λΉ„μ „-μ–Έμ–΄ λͺ¨λΈμ˜ μ•ˆμ „μ„ μœ„ν˜‘ν•˜λŠ” 'νƒˆμ˜₯' 곡격

졜근 κΈ‰μ†λ„λ‘œ λ°œμ „ν•˜λŠ” λŒ€κ·œλͺ¨ λΉ„μ „-μ–Έμ–΄ λͺ¨λΈ(LVLMs)은 이미지와 ν…μŠ€νŠΈλ₯Ό λ™μ‹œμ— μ²˜λ¦¬ν•˜λ©° λ†€λΌμš΄ μ„±λŠ₯을 λ³΄μ—¬μ£Όμ§€λ§Œ, λ™μ‹œμ— μƒˆλ‘œμš΄ μ•ˆμ „ μœ„ν˜‘μ—λ„ μ§λ©΄ν•˜κ³  μžˆμŠ΅λ‹ˆλ‹€. 기쑴의 μ–Έμ–΄ λͺ¨λΈλ³΄λ‹€ 훨씬 더 'νƒˆμ˜₯' 곡격에 μ·¨μ•½ν•΄μ§„ 것이죠. Zheng λ“± 연ꡬ진은 μ΄λŸ¬ν•œ 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•œ 획기적인 연ꡬ κ²°κ³Όλ₯Ό λ°œν‘œν–ˆμŠ΅λ‹ˆλ‹€.

λͺ¨λΈ λ‚΄λΆ€μ˜ 'μˆ¨κ²¨μ§„ 방패': μ•ˆμ „ ν—€λ“œμ˜ 발견

연ꡬ진은 LVLMsκ°€ 졜초 토큰을 μƒμ„±ν•˜λŠ” κ³Όμ •μ—μ„œ λ°œμƒν•˜λŠ” λ‚΄λΆ€ ν™œμ„±ν™”λ₯Ό λΆ„μ„ν•˜μ—¬ λ†€λΌμš΄ 사싀을 λ°œκ²¬ν–ˆμŠ΅λ‹ˆλ‹€. λ°”λ‘œ μ•…μ˜μ μΈ ν”„λ‘¬ν”„νŠΈλ₯Ό 효과적으둜 μ‹λ³„ν•˜λŠ” 'μ•ˆμ „ ν—€λ“œ(safety heads)'의 μ‘΄μž¬μž…λ‹ˆλ‹€! 이 μ•ˆμ „ ν—€λ“œλŠ” νŠΉμ • ν¬μ†Œ μ–΄ν…μ…˜ ν—€λ“œλ‘œ κ΅¬μ„±λ˜μ–΄ 있으며, 마치 λͺ¨λΈ 내뢀에 μˆ¨κ²¨μ§„ 방패처럼 μž‘λ™ν•˜μ—¬ μ•…μ˜μ μΈ ν”„λ‘¬ν”„νŠΈλ‘œλΆ€ν„° λͺ¨λΈμ„ λ³΄ν˜Έν•˜λŠ” 역할을 μˆ˜ν–‰ν•©λ‹ˆλ‹€. 이 ν—€λ“œλ“€μ„ μ œκ±°ν•˜λ©΄ 곡격 성곡λ₯ μ΄ λ†’μ•„μ§€λŠ” 반면, λͺ¨λΈμ˜ μœ μš©μ„±μ—λŠ” 영ν–₯을 λ―ΈμΉ˜μ§€ μ•ŠλŠ”λ‹€λŠ” 점이 ν™•μΈλ˜μ—ˆμŠ΅λ‹ˆλ‹€.

κ°„λ‹¨ν•˜μ§€λ§Œ κ°•λ ₯ν•œ μ•…μ„± ν”„λ‘¬ν”„νŠΈ 탐지기

연ꡬ진은 μ΄λŸ¬ν•œ μ•ˆμ „ ν—€λ“œμ˜ ν™œμ„±ν™”λ₯Ό κ²°ν•©ν•˜μ—¬, κ°„λ‹¨ν•˜λ©΄μ„œλ„ κ°•λ ₯ν•œ μ•…μ„± ν”„λ‘¬ν”„νŠΈ 탐지기λ₯Ό κ°œλ°œν–ˆμŠ΅λ‹ˆλ‹€. λ†€λžκ²Œλ„, λ‹¨μˆœν•œ λ‘œμ§€μŠ€ν‹± νšŒκ·€ λͺ¨λΈμž„에도 λΆˆκ΅¬ν•˜κ³ , 이 νƒμ§€κΈ°λŠ” λ‹€μ–‘ν•œ ν”„λ‘¬ν”„νŠΈ 기반 곡격에 λŒ€ν•΄ νƒμ›”ν•œ μ œλ‘œμƒ· μΌλ°˜ν™” μ„±λŠ₯을 λ³΄μ—¬μ£Όμ—ˆμŠ΅λ‹ˆλ‹€. 좔가적인 μΆ”λ‘  μ˜€λ²„ν—€λ“œ 없이 λͺ¨λΈ 생성 과정에 λ§€λ„λŸ½κ²Œ 톡합될 수 μžˆλ‹€λŠ” 점도 μž₯μ μž…λ‹ˆλ‹€.

μ‹€ν—˜ κ²°κ³Ό 및 μ½”λ“œ 곡개

λ‹€μ–‘ν•œ ν”„λ‘¬ν”„νŠΈ 기반 곡격에 λŒ€ν•œ μ‹€ν—˜ κ²°κ³ΌλŠ” μ•ˆμ „ ν—€λ“œλ₯Ό ν™œμš©ν•˜μ—¬ LVLMsλ₯Ό λ³΄ν˜Έν•˜λŠ” 효과λ₯Ό λͺ…ν™•ν•˜κ²Œ λ³΄μ—¬μ€λ‹ˆλ‹€. 연ꡬ진은 κ΄€λ ¨ μ½”λ“œλ₯Ό GitHub (https://github.com/Ziwei-Zheng/SAHs)에 κ³΅κ°œν•˜μ—¬, λ‹€λ₯Έ μ—°κ΅¬μžλ“€μ˜ ν™œμš©κ³Ό λ°œμ „μ„ μ§€μ›ν•˜κ³  μžˆμŠ΅λ‹ˆλ‹€.

κ²°λ‘  및 미래 전망

이 μ—°κ΅¬λŠ” LVLMs의 μ•ˆμ „μ„±μ„ κ°•ν™”ν•˜κΈ° μœ„ν•œ μƒˆλ‘œμš΄ νŒ¨λŸ¬λ‹€μž„μ„ μ œμ‹œν•©λ‹ˆλ‹€. λͺ¨λΈ λ‚΄λΆ€μ˜ μ•ˆμ „ λ©”μ»€λ‹ˆμ¦˜μ„ μ΄ν•΄ν•˜κ³  ν™œμš©ν•˜λŠ” λ°©μ‹μœΌλ‘œ, ν–₯ν›„ λ”μš± μ•ˆμ „ν•˜κ³  μ‹ λ’°ν•  수 μžˆλŠ” AI μ‹œμŠ€ν…œ κ°œλ°œμ— 크게 κΈ°μ—¬ν•  κ²ƒμœΌλ‘œ κΈ°λŒ€λ©λ‹ˆλ‹€. μ•žμœΌλ‘œ μ•ˆμ „ ν—€λ“œμ— λŒ€ν•œ 좔가적인 연ꡬλ₯Ό 톡해, λ”μš± μ •κ΅ν•˜κ³  효율적인 μ•ˆμ „ μ‹œμŠ€ν…œμ„ ꡬ좕할 수 μžˆμ„ κ²ƒμž…λ‹ˆλ‹€.


*이 κΈ°μ‚¬λŠ” AIκ°€ μƒμ„±ν•œ λ‚΄μš©μœΌλ‘œ, 일뢀 정보가 μ‹€μ œμ™€ λ‹€λ₯Ό 수 μžˆμŠ΅λ‹ˆλ‹€. μ •ν™•ν•œ 확인을 μœ„ν•΄ 좔가적인 검증을 ꢌμž₯λ“œλ¦½λ‹ˆλ‹€.

Reference

[arxiv] Spot Risks Before Speaking! Unraveling Safety Attention Heads in Large Vision-Language Models

Published: Β (Updated: )

Author: Ziwei Zheng, Junyao Zhao, Le Yang, Lijun He, Fan Li

http://arxiv.org/abs/2501.02029v1