๐ŸšจAI ๋ชจ๋ธ์˜ ํƒˆ์˜ฅ์„ ๋ง‰์•„๋ผ! TurboFuzzLLM์˜ ๋“ฑ์žฅ


TurboFuzzLLM์€ ๋Œ์—ฐ๋ณ€์ด ๊ธฐ๋ฐ˜ ํผ์ง•์„ ์ด์šฉํ•ด LLM์˜ ์ทจ์•ฝ์ ์„ ํšจ์œจ์ ์œผ๋กœ ์ฐพ์•„๋‚ด๋Š” ๊ธฐ์ˆ ๋กœ, 95% ์ด์ƒ์˜ ๋†’์€ ๊ณต๊ฒฉ ์„ฑ๊ณต๋ฅ ์„ ๊ธฐ๋กํ•˜๋ฉฐ LLM์˜ ๋ณด์•ˆ ๊ฐ•ํ™”์— ๊ธฐ์—ฌํ•  ๊ฒƒ์œผ๋กœ ๊ธฐ๋Œ€๋ฉ๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ๋™์‹œ์— AI ๋ชจ๋ธ ๊ฐœ๋ฐœ์ž๋“ค์—๊ฒŒ ๋ณด์•ˆ ๊ฐ•ํ™”์˜ ํ•„์š”์„ฑ์„ ๊ฐ•์กฐํ•˜๋Š” ์ค‘์š”ํ•œ ์‚ฌ๋ก€์ด๊ธฐ๋„ ํ•ฉ๋‹ˆ๋‹ค.

related iamge

AI ๋ชจ๋ธ์˜ ํƒˆ์˜ฅ์„ ๋ง‰์•„๋ผ! TurboFuzzLLM์˜ ๋“ฑ์žฅ

์ตœ๊ทผ AI ๋ถ„์•ผ์˜ ๋œจ๊ฑฐ์šด ๊ฐ์ž ์ค‘ ํ•˜๋‚˜๋Š” ๋ฐ”๋กœ LLM(๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ) ์˜ 'ํƒˆ์˜ฅ(Jailbreaking)' ๋ฌธ์ œ์ž…๋‹ˆ๋‹ค. ์•…์˜์ ์ธ ํ”„๋กฌํ”„ํŠธ๋ฅผ ํ†ตํ•ด AI ๋ชจ๋ธ์ด ์˜๋„ํ•˜์ง€ ์•Š์€ ์œ„ํ—˜ํ•œ ์‘๋‹ต์„ ์ƒ์„ฑํ•˜๋„๋ก ์œ ๋„ํ•˜๋Š” ์ด ๋ฌธ์ œ๋Š” AI ๊ธฐ์ˆ ์˜ ์•ˆ์ „์„ฑ๊ณผ ์‹ ๋ขฐ์„ฑ์— ๋Œ€ํ•œ ์‹ฌ๊ฐํ•œ ์šฐ๋ ค๋ฅผ ๋ถˆ๋Ÿฌ์ผ์œผํ‚ค๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

์ด๋Ÿฌํ•œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด Aman Goel, Xian Carrie Wu, Zhe Wang, Dmitriy Bespalov, Yanjun Qi ๋“ฑ ์—ฐ๊ตฌ์ง„์ด ๊ฐœ๋ฐœํ•œ TurboFuzzLLM์ด ๋“ฑ์žฅํ–ˆ์Šต๋‹ˆ๋‹ค. TurboFuzzLLM์€ ๋Œ์—ฐ๋ณ€์ด ๊ธฐ๋ฐ˜ ํผ์ง•(mutation-based fuzzing) ๊ธฐ๋ฒ•์„ ํ™œ์šฉํ•˜์—ฌ ํšจ์œจ์ ์œผ๋กœ LLM์˜ ์ทจ์•ฝ์ ์„ ์ฐพ์•„๋‚ด๋Š” ํ˜์‹ ์ ์ธ ๊ธฐ์ˆ ์ž…๋‹ˆ๋‹ค.

๊ธฐ์กด์˜ ํ…œํ”Œ๋ฆฟ ๊ธฐ๋ฐ˜ ๊ณต๊ฒฉ ๊ธฐ๋ฒ•์˜ ํ•œ๊ณ„๋ฅผ ๊ทน๋ณตํ•˜๊ณ , ๊ธฐ๋Šฅ์„ฑ๊ณผ ํšจ์œจ์„ฑ์„ ํ–ฅ์ƒ์‹œํ‚จ TurboFuzzLLM์€ GPT-4 ๋ฐ GPT-4 Turbo๋ฅผ ํฌํ•จํ•œ ์ฃผ์š” LLM์— ๋Œ€ํ•ด 95% ์ด์ƒ์˜ ๋†’์€ ๊ณต๊ฒฉ ์„ฑ๊ณต๋ฅ (ASR) ์„ ๊ธฐ๋กํ–ˆ์Šต๋‹ˆ๋‹ค. ๋‹จ์ˆœํžˆ ๊ธฐ์กด์˜ ์•…์˜์  ์งˆ๋ฌธ์—๋งŒ ๊ตญํ•œ๋˜์ง€ ์•Š๊ณ , ์ƒˆ๋กœ์šด ์œ ํ˜•์˜ ์•…์˜์  ์งˆ๋ฌธ์—๋„ ํšจ๊ณผ์ ์œผ๋กœ ์ž‘๋™ํ•œ๋‹ค๋Š” ์ ์—์„œ ๊ทธ ์‹ค์šฉ์„ฑ์ด ๋งค์šฐ ๋›ฐ์–ด๋‚ฉ๋‹ˆ๋‹ค.

์ด๋Š” ๋‹จ์ˆœํžˆ ๊ณต๊ฒฉ ๊ธฐ์ˆ ์˜ ๋ฐœ์ „์„ ๋„˜์–ด, LLM์˜ ๋ณด์•ˆ ๊ฐ•ํ™”๋ฅผ ์œ„ํ•œ ์ค‘์š”ํ•œ ๋‹จ์„œ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. TurboFuzzLLM์„ ํ†ตํ•ด ๋ฐœ๊ฒฌ๋œ ์ทจ์•ฝ์ ์„ ๋ฐ”ํƒ•์œผ๋กœ, ๋”์šฑ ์•ˆ์ „ํ•˜๊ณ  ์‹ ๋ขฐํ•  ์ˆ˜ ์žˆ๋Š” AI ๋ชจ๋ธ ๊ฐœ๋ฐœ์„ ์œ„ํ•œ ์—ฐ๊ตฌ๊ฐ€ ๊ฐ€์†ํ™”๋  ๊ฒƒ์œผ๋กœ ์˜ˆ์ƒ๋ฉ๋‹ˆ๋‹ค. AI ๊ธฐ์ˆ ์˜ ๋ฐœ์ „๊ณผ ํ•จ๊ป˜ ์•ˆ์ „์„ฑ ํ™•๋ณด๋ผ๋Š” ๊ณผ์ œ ๋˜ํ•œ ๋”์šฑ ์ค‘์š”ํ•ด์ง€๋Š” ์‹œ์ ์ž…๋‹ˆ๋‹ค. TurboFuzzLLM์˜ ๋“ฑ์žฅ์€ ์ด๋Ÿฌํ•œ ๊ณผ์ œ ํ•ด๊ฒฐ์— ํ•œ ๊ฑธ์Œ ๋” ๋‹ค๊ฐ€๊ฐ€๋Š” ์ค‘์š”ํ•œ ์ด์ •ํ‘œ๊ฐ€ ๋  ๊ฒƒ์ž…๋‹ˆ๋‹ค.

ํ•˜์ง€๋งŒ, TurboFuzzLLM๊ณผ ๊ฐ™์€ ๊ฐ•๋ ฅํ•œ ๊ณต๊ฒฉ ๊ธฐ์ˆ ์˜ ์กด์žฌ๋Š” AI ๋ชจ๋ธ ๊ฐœ๋ฐœ์ž๋“ค์—๊ฒŒ ๊ฒฝ๊ฐ์‹ฌ์„ ์ผ๊นจ์›Œ์ค๋‹ˆ๋‹ค. ๋”์šฑ ๊ฐ•๋ ฅํ•œ ๋ฐฉ์–ด ๋ฉ”์ปค๋‹ˆ์ฆ˜ ๊ฐœ๋ฐœ์„ ํ†ตํ•ด, AI์˜ ์•ˆ์ „ํ•˜๊ณ  ์œค๋ฆฌ์ ์ธ ํ™œ์šฉ์„ ์œ„ํ•œ ๋…ธ๋ ฅ์ด ์ง€์†๋˜์–ด์•ผ ํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์ด๋Š” ๊ธฐ์ˆ  ๋ฐœ์ „๊ณผ ํ•จ๊ป˜ ์‚ฌํšŒ์  ์ฑ…์ž„ ๋˜ํ•œ ์ค‘์š”ํ•จ์„ ๊ฐ•์กฐํ•˜๋Š” ์‚ฌ๋ก€๋ผ๊ณ  ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.


*์ด ๊ธฐ์‚ฌ๋Š” AI๊ฐ€ ์ƒ์„ฑํ•œ ๋‚ด์šฉ์œผ๋กœ, ์ผ๋ถ€ ์ •๋ณด๊ฐ€ ์‹ค์ œ์™€ ๋‹ค๋ฅผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ •ํ™•ํ•œ ํ™•์ธ์„ ์œ„ํ•ด ์ถ”๊ฐ€์ ์ธ ๊ฒ€์ฆ์„ ๊ถŒ์žฅ๋“œ๋ฆฝ๋‹ˆ๋‹ค.

Reference

[arxiv] TurboFuzzLLM: Turbocharging Mutation-based Fuzzing for Effectively Jailbreaking Large Language Models in Practice

Published: ย (Updated: )

Author: Aman Goel, Xian Carrie Wu, Zhe Wang, Dmitriy Bespalov, Yanjun Qi

http://arxiv.org/abs/2502.18504v1