๐Ÿšจ์ฝ”๋“œ ์ค‘๋… ํ•ด๊ฒฐ์‚ฌ ๋“ฑ์žฅ! ๊ฒฝ๋Ÿ‰ํ™”๋œ AI ๋ณด์•ˆ ๊ธฐ์ˆ , KillBadCode


๋ณธ ๊ธฐ์‚ฌ๋Š” Weisong Sun ๋“ฑ ์—ฐ๊ตฌ์ง„์ด ๊ฐœ๋ฐœํ•œ ๊ฒฝ๋Ÿ‰ํ™”๋œ ์ฝ”๋“œ ํฌ์ด์ฆˆ๋‹ ํƒ์ง€ ๊ธฐ์ˆ ์ธ KillBadCode๋ฅผ ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค. KillBadCode๋Š” ์ฝ”๋“œ์˜ ์ž์—ฐ์Šค๋Ÿฌ์›€์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํฌ์ด์ฆˆ๋‹๋œ ์ฝ”๋“œ๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ ํƒ์ง€ํ•˜๋ฉฐ, ๊ธฐ์กด ๊ธฐ์ˆ ๋ณด๋‹ค ํ›จ์”ฌ ๋น ๋ฅด๊ณ  ํšจ์œจ์ ์ž…๋‹ˆ๋‹ค.

related iamge

์ตœ๊ทผ ๋‰ด๋Ÿด ์ฝ”๋“œ ๋ชจ๋ธ(NCMs) ์ด ์ฝ”๋“œ ๋ถ„์„ ๋ฐ ์ƒ์„ฑ๊ณผ ๊ฐ™์€ ์ฝ”๋“œ ์ง€๋Šฅ ์ž‘์—…์—์„œ ๋†€๋ผ์šด ์„ฑ๋Šฅ์„ ๋ณด์—ฌ์ฃผ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ NCMs ๊ธฐ๋ฐ˜ ์‹œ์Šคํ…œ์˜ ๋ณด์•ˆ ๋ฌธ์ œ ๋˜ํ•œ ์‹ฌ๊ฐํ•˜๊ฒŒ ๋Œ€๋‘๋˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ํŠนํžˆ, NCMs๋Š” ์‹ ๋ขฐํ•  ์ˆ˜ ์—†๋Š” ์ถœ์ฒ˜์˜ ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ๋กœ ํ•™์Šต๋˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์•„, ๊ณต๊ฒฉ์ž๋Š” ์•…์˜์ ์ธ ์ฝ”๋“œ๋ฅผ ์‚ฝ์ž…ํ•˜์—ฌ ๋ชจ๋ธ์„ ์กฐ์ž‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๊ณต๊ฒฉ์„ ์ฝ”๋“œ ํฌ์ด์ฆˆ๋‹ ๊ณต๊ฒฉ(๋˜๋Š” ๋ฐฑ๋„์–ด ๊ณต๊ฒฉ) ์ด๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ๊ณต๊ฒฉ์ž๋Š” ์ด๋ฅผ ํ†ตํ•ด NCMs์— ๋ฐฑ๋„์–ด๋ฅผ ์‹ฌ์–ด ๋ชจ๋ธ์˜ ๋™์ž‘์„ ์ œ์–ดํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์‹ฌ๊ฐํ•œ ๋ณด์•ˆ ์œ„ํ˜‘์ด ๋ฉ๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์ง€๊ธˆ๊นŒ์ง€ ๋‹ค์–‘ํ•˜๊ณ  ๋ณต์žกํ•œ ์ฝ”๋“œ ํฌ์ด์ฆˆ๋‹ ๊ณต๊ฒฉ์„ ํšจ๊ณผ์ ์œผ๋กœ ํƒ์ง€ํ•˜๋Š” ๊ธฐ์ˆ ์€ ๋ถ€์กฑํ•œ ์‹ค์ •์ด์—ˆ์Šต๋‹ˆ๋‹ค.

Sun ๋“ฑ์˜ ์—ฐ๊ตฌ์ง„์€ ์ด๋Ÿฌํ•œ ๋ฌธ์ œ์— ๋Œ€ํ•œ ํ•ด๊ฒฐ์ฑ…์œผ๋กœ, KillBadCode๋ผ๋Š” ํ˜์‹ ์ ์ด๊ณ  ๊ฒฝ๋Ÿ‰ํ™”๋œ ์ฝ”๋“œ ํฌ์ด์ฆˆ๋‹ ํƒ์ง€ ๊ธฐ๋ฒ•์„ ์ œ์•ˆํ–ˆ์Šต๋‹ˆ๋‹ค. KillBadCode๋Š” ์ฝ”๋“œ ํฌ์ด์ฆˆ๋‹์ด ์ฝ”๋“œ์˜ ์ž์—ฐ์Šค๋Ÿฌ์›€์„ ๊นจ๋œจ๋ฆฐ๋‹ค๋Š” ํ†ต์ฐฐ๋ ฅ์— ๊ธฐ๋ฐ˜ํ•˜์—ฌ ์„ค๊ณ„๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ๊ตฌ์ฒด์ ์œผ๋กœ, KillBadCode๋Š” ์šฐ์„  ๊ฒฝ๋Ÿ‰ํ™”๋œ n-gram ์–ธ์–ด ๋ชจ๋ธ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ์ฝ”๋“œ ์–ธ์–ด ๋ชจ๋ธ(CodeLM) ์„ ๊ตฌ์ถ•ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋Ÿฐ ๋‹ค์Œ, ํฌ์ด์ฆˆ๋‹๋œ ๋ฐ์ดํ„ฐ๊ฐ€ ์ฃผ์–ด์ง€๋ฉด CodeLM์„ ์‚ฌ์šฉํ•˜์—ฌ ์ฝ”๋“œ ์กฐ๊ฐ์—์„œ ์‚ญ์ œํ–ˆ์„ ๋•Œ ์ฝ”๋“œ์˜ ์ž์—ฐ์Šค๋Ÿฌ์›€์„ ๋”์šฑ ํ–ฅ์ƒ์‹œํ‚ค๋Š” ํ† ํฐ(ํŠธ๋ฆฌ๊ฑฐ ํ† ํฐ)์„ ์‹๋ณ„ํ•ฉ๋‹ˆ๋‹ค. ๋‹จ์ผ ์ƒ˜ํ”Œ์—์„œ ์ •์ƒ์ ์ธ ํ† ํฐ์„ ์ œ๊ฑฐํ•˜๋Š” ๊ฒƒ๋งŒ์œผ๋กœ๋„ ์ฝ”๋“œ์˜ ์ž์—ฐ์Šค๋Ÿฌ์›€์ด ํ–ฅ์ƒ๋˜์–ด ๋†’์€ ์˜คํƒ์œจ(FPR)์„ ์ดˆ๋ž˜ํ•  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ, ๋ชจ๋“  ์ƒ˜ํ”Œ์— ๊ฑธ์ณ ๊ฐ ํ† ํฐ์˜ ๋ˆ„์  ๊ฐœ์„  ์‚ฌํ•ญ์„ ์ง‘๊ณ„ํ•ฉ๋‹ˆ๋‹ค. ๋งˆ์ง€๋ง‰์œผ๋กœ, KillBadCode๋Š” ์‹๋ณ„๋œ ํŠธ๋ฆฌ๊ฑฐ ํ† ํฐ์„ ํฌํ•จํ•˜๋Š” ๋ชจ๋“  ํฌ์ด์ฆˆ๋‹๋œ ์ƒ˜ํ”Œ์„ ์ œ๊ฑฐํ•˜์—ฌ ๋ฐ์ดํ„ฐ๋ฅผ ์ •์ œํ•ฉ๋‹ˆ๋‹ค.

๋‘ ๊ฐ€์ง€ ์ฝ”๋“œ ํฌ์ด์ฆˆ๋‹ ๊ณต๊ฒฉ๊ณผ ๋„ค ๊ฐ€์ง€ ์ฝ”๋“œ ์ง€๋Šฅ ์ž‘์—…์— ๋Œ€ํ•œ ์‹คํ—˜ ๊ฒฐ๊ณผ, KillBadCode๋Š” ๊ธฐ์กด ๋ฐฉ์‹๋ณด๋‹ค ํ›จ์”ฌ ๋›ฐ์–ด๋‚œ ์„ฑ๋Šฅ์„ ๋ณด์˜€์Šต๋‹ˆ๋‹ค. ํŠนํžˆ, KillBadCode๋Š” ์ตœ์†Œ 5๋ถ„์˜ ์ฒ˜๋ฆฌ ์‹œ๊ฐ„์œผ๋กœ ๋งค์šฐ ํšจ์œจ์ ์ด๋ฉฐ, ํ‰๊ท ์ ์œผ๋กœ ์ตœ๊ณ  ์„ฑ๋Šฅ์˜ ๊ธฐ์กด ๋ฐฉ์‹๋ณด๋‹ค 25๋ฐฐ ๋น ๋ฆ…๋‹ˆ๋‹ค. ์ด ์—ฐ๊ตฌ๋Š” AI ์‹œ์Šคํ…œ์˜ ๋ณด์•ˆ ๊ฐ•ํ™”์— ์ค‘์š”ํ•œ ์ง„์ „์„ ๊ฐ€์ ธ์˜ฌ ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ, ๊ฒฝ๋Ÿ‰ํ™”๋œ ๋ชจ๋ธ์„ ํ†ตํ•œ ํšจ์œจ์„ฑ ํ–ฅ์ƒ๊นŒ์ง€ ๋‹ฌ์„ฑํ•˜์—ฌ ์‹ค์šฉ์ ์ธ ์ธก๋ฉด์—์„œ๋„ ํฐ ์˜๋ฏธ๋ฅผ ๊ฐ–์Šต๋‹ˆ๋‹ค. ์•ž์œผ๋กœ KillBadCode์™€ ๊ฐ™์€ ๊ธฐ์ˆ ์˜ ๋ฐœ์ „์„ ํ†ตํ•ด ๋”์šฑ ์•ˆ์ „ํ•˜๊ณ  ์‹ ๋ขฐํ•  ์ˆ˜ ์žˆ๋Š” AI ์‹œ์Šคํ…œ ๊ตฌ์ถ•์ด ๊ฐ€๋Šฅํ•  ๊ฒƒ์œผ๋กœ ๊ธฐ๋Œ€๋ฉ๋‹ˆ๋‹ค.


*์ด ๊ธฐ์‚ฌ๋Š” AI๊ฐ€ ์ƒ์„ฑํ•œ ๋‚ด์šฉ์œผ๋กœ, ์ผ๋ถ€ ์ •๋ณด๊ฐ€ ์‹ค์ œ์™€ ๋‹ค๋ฅผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ •ํ™•ํ•œ ํ™•์ธ์„ ์œ„ํ•ด ์ถ”๊ฐ€์ ์ธ ๊ฒ€์ฆ์„ ๊ถŒ์žฅ๋“œ๋ฆฝ๋‹ˆ๋‹ค.

Reference

[arxiv] Show Me Your Code! Kill Code Poisoning: A Lightweight Method Based on Code Naturalness

Published: ย (Updated: )

Author: Weisong Sun, Yuchen Chen, Mengzhe Yuan, Chunrong Fang, Zhenpeng Chen, Chong Wang, Yang Liu, Baowen Xu, Zhenyu Chen

http://arxiv.org/abs/2502.15830v1