๐จAI ๋ชจ๋ธ์ ํ์ฅ์ ๋ง์๋ผ! TurboFuzzLLM์ ๋ฑ์ฅ
TurboFuzzLLM์ ๋์ฐ๋ณ์ด ๊ธฐ๋ฐ ํผ์ง์ ์ด์ฉํด LLM์ ์ทจ์ฝ์ ์ ํจ์จ์ ์ผ๋ก ์ฐพ์๋ด๋ ๊ธฐ์ ๋ก, 95% ์ด์์ ๋์ ๊ณต๊ฒฉ ์ฑ๊ณต๋ฅ ์ ๊ธฐ๋กํ๋ฉฐ LLM์ ๋ณด์ ๊ฐํ์ ๊ธฐ์ฌํ ๊ฒ์ผ๋ก ๊ธฐ๋๋ฉ๋๋ค. ํ์ง๋ง ๋์์ AI ๋ชจ๋ธ ๊ฐ๋ฐ์๋ค์๊ฒ ๋ณด์ ๊ฐํ์ ํ์์ฑ์ ๊ฐ์กฐํ๋ ์ค์ํ ์ฌ๋ก์ด๊ธฐ๋ ํฉ๋๋ค.

AI ๋ชจ๋ธ์ ํ์ฅ์ ๋ง์๋ผ! TurboFuzzLLM์ ๋ฑ์ฅ
์ต๊ทผ AI ๋ถ์ผ์ ๋จ๊ฑฐ์ด ๊ฐ์ ์ค ํ๋๋ ๋ฐ๋ก LLM(๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ) ์ 'ํ์ฅ(Jailbreaking)' ๋ฌธ์ ์ ๋๋ค. ์ ์์ ์ธ ํ๋กฌํํธ๋ฅผ ํตํด AI ๋ชจ๋ธ์ด ์๋ํ์ง ์์ ์ํํ ์๋ต์ ์์ฑํ๋๋ก ์ ๋ํ๋ ์ด ๋ฌธ์ ๋ AI ๊ธฐ์ ์ ์์ ์ฑ๊ณผ ์ ๋ขฐ์ฑ์ ๋ํ ์ฌ๊ฐํ ์ฐ๋ ค๋ฅผ ๋ถ๋ฌ์ผ์ผํค๊ณ ์์ต๋๋ค.
์ด๋ฌํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด Aman Goel, Xian Carrie Wu, Zhe Wang, Dmitriy Bespalov, Yanjun Qi ๋ฑ ์ฐ๊ตฌ์ง์ด ๊ฐ๋ฐํ TurboFuzzLLM์ด ๋ฑ์ฅํ์ต๋๋ค. TurboFuzzLLM์ ๋์ฐ๋ณ์ด ๊ธฐ๋ฐ ํผ์ง(mutation-based fuzzing) ๊ธฐ๋ฒ์ ํ์ฉํ์ฌ ํจ์จ์ ์ผ๋ก LLM์ ์ทจ์ฝ์ ์ ์ฐพ์๋ด๋ ํ์ ์ ์ธ ๊ธฐ์ ์ ๋๋ค.
๊ธฐ์กด์ ํ ํ๋ฆฟ ๊ธฐ๋ฐ ๊ณต๊ฒฉ ๊ธฐ๋ฒ์ ํ๊ณ๋ฅผ ๊ทน๋ณตํ๊ณ , ๊ธฐ๋ฅ์ฑ๊ณผ ํจ์จ์ฑ์ ํฅ์์ํจ TurboFuzzLLM์ GPT-4 ๋ฐ GPT-4 Turbo๋ฅผ ํฌํจํ ์ฃผ์ LLM์ ๋ํด 95% ์ด์์ ๋์ ๊ณต๊ฒฉ ์ฑ๊ณต๋ฅ (ASR) ์ ๊ธฐ๋กํ์ต๋๋ค. ๋จ์ํ ๊ธฐ์กด์ ์ ์์ ์ง๋ฌธ์๋ง ๊ตญํ๋์ง ์๊ณ , ์๋ก์ด ์ ํ์ ์ ์์ ์ง๋ฌธ์๋ ํจ๊ณผ์ ์ผ๋ก ์๋ํ๋ค๋ ์ ์์ ๊ทธ ์ค์ฉ์ฑ์ด ๋งค์ฐ ๋ฐ์ด๋ฉ๋๋ค.
์ด๋ ๋จ์ํ ๊ณต๊ฒฉ ๊ธฐ์ ์ ๋ฐ์ ์ ๋์ด, LLM์ ๋ณด์ ๊ฐํ๋ฅผ ์ํ ์ค์ํ ๋จ์๋ฅผ ์ ๊ณตํฉ๋๋ค. TurboFuzzLLM์ ํตํด ๋ฐ๊ฒฌ๋ ์ทจ์ฝ์ ์ ๋ฐํ์ผ๋ก, ๋์ฑ ์์ ํ๊ณ ์ ๋ขฐํ ์ ์๋ AI ๋ชจ๋ธ ๊ฐ๋ฐ์ ์ํ ์ฐ๊ตฌ๊ฐ ๊ฐ์ํ๋ ๊ฒ์ผ๋ก ์์๋ฉ๋๋ค. AI ๊ธฐ์ ์ ๋ฐ์ ๊ณผ ํจ๊ป ์์ ์ฑ ํ๋ณด๋ผ๋ ๊ณผ์ ๋ํ ๋์ฑ ์ค์ํด์ง๋ ์์ ์ ๋๋ค. TurboFuzzLLM์ ๋ฑ์ฅ์ ์ด๋ฌํ ๊ณผ์ ํด๊ฒฐ์ ํ ๊ฑธ์ ๋ ๋ค๊ฐ๊ฐ๋ ์ค์ํ ์ด์ ํ๊ฐ ๋ ๊ฒ์ ๋๋ค.
ํ์ง๋ง, TurboFuzzLLM๊ณผ ๊ฐ์ ๊ฐ๋ ฅํ ๊ณต๊ฒฉ ๊ธฐ์ ์ ์กด์ฌ๋ AI ๋ชจ๋ธ ๊ฐ๋ฐ์๋ค์๊ฒ ๊ฒฝ๊ฐ์ฌ์ ์ผ๊นจ์์ค๋๋ค. ๋์ฑ ๊ฐ๋ ฅํ ๋ฐฉ์ด ๋ฉ์ปค๋์ฆ ๊ฐ๋ฐ์ ํตํด, AI์ ์์ ํ๊ณ ์ค๋ฆฌ์ ์ธ ํ์ฉ์ ์ํ ๋ ธ๋ ฅ์ด ์ง์๋์ด์ผ ํ ๊ฒ์ ๋๋ค. ์ด๋ ๊ธฐ์ ๋ฐ์ ๊ณผ ํจ๊ป ์ฌํ์ ์ฑ ์ ๋ํ ์ค์ํจ์ ๊ฐ์กฐํ๋ ์ฌ๋ก๋ผ๊ณ ๋ณผ ์ ์์ต๋๋ค.
Reference
[arxiv] TurboFuzzLLM: Turbocharging Mutation-based Fuzzing for Effectively Jailbreaking Large Language Models in Practice
Published: ย (Updated: )
Author: Aman Goel, Xian Carrie Wu, Zhe Wang, Dmitriy Bespalov, Yanjun Qi
http://arxiv.org/abs/2502.18504v1