๐จ์ฝ๋ ์ค๋ ํด๊ฒฐ์ฌ ๋ฑ์ฅ! ๊ฒฝ๋ํ๋ AI ๋ณด์ ๊ธฐ์ , KillBadCode
๋ณธ ๊ธฐ์ฌ๋ Weisong Sun ๋ฑ ์ฐ๊ตฌ์ง์ด ๊ฐ๋ฐํ ๊ฒฝ๋ํ๋ ์ฝ๋ ํฌ์ด์ฆ๋ ํ์ง ๊ธฐ์ ์ธ KillBadCode๋ฅผ ์๊ฐํฉ๋๋ค. KillBadCode๋ ์ฝ๋์ ์์ฐ์ค๋ฌ์์ ๊ธฐ๋ฐ์ผ๋ก ํฌ์ด์ฆ๋๋ ์ฝ๋๋ฅผ ํจ๊ณผ์ ์ผ๋ก ํ์งํ๋ฉฐ, ๊ธฐ์กด ๊ธฐ์ ๋ณด๋ค ํจ์ฌ ๋น ๋ฅด๊ณ ํจ์จ์ ์ ๋๋ค.

์ต๊ทผ ๋ด๋ด ์ฝ๋ ๋ชจ๋ธ(NCMs) ์ด ์ฝ๋ ๋ถ์ ๋ฐ ์์ฑ๊ณผ ๊ฐ์ ์ฝ๋ ์ง๋ฅ ์์ ์์ ๋๋ผ์ด ์ฑ๋ฅ์ ๋ณด์ฌ์ฃผ๊ณ ์์ต๋๋ค. ํ์ง๋ง NCMs ๊ธฐ๋ฐ ์์คํ ์ ๋ณด์ ๋ฌธ์ ๋ํ ์ฌ๊ฐํ๊ฒ ๋๋๋๊ณ ์์ต๋๋ค. ํนํ, NCMs๋ ์ ๋ขฐํ ์ ์๋ ์ถ์ฒ์ ๋๊ท๋ชจ ๋ฐ์ดํฐ๋ก ํ์ต๋๋ ๊ฒฝ์ฐ๊ฐ ๋ง์, ๊ณต๊ฒฉ์๋ ์ ์์ ์ธ ์ฝ๋๋ฅผ ์ฝ์ ํ์ฌ ๋ชจ๋ธ์ ์กฐ์ํ ์ ์์ต๋๋ค. ์ด๋ฌํ ๊ณต๊ฒฉ์ ์ฝ๋ ํฌ์ด์ฆ๋ ๊ณต๊ฒฉ(๋๋ ๋ฐฑ๋์ด ๊ณต๊ฒฉ) ์ด๋ผ๊ณ ํฉ๋๋ค. ๊ณต๊ฒฉ์๋ ์ด๋ฅผ ํตํด NCMs์ ๋ฐฑ๋์ด๋ฅผ ์ฌ์ด ๋ชจ๋ธ์ ๋์์ ์ ์ดํ ์ ์์ผ๋ฉฐ, ์ฌ๊ฐํ ๋ณด์ ์ํ์ด ๋ฉ๋๋ค. ํ์ง๋ง ์ง๊ธ๊น์ง ๋ค์ํ๊ณ ๋ณต์กํ ์ฝ๋ ํฌ์ด์ฆ๋ ๊ณต๊ฒฉ์ ํจ๊ณผ์ ์ผ๋ก ํ์งํ๋ ๊ธฐ์ ์ ๋ถ์กฑํ ์ค์ ์ด์์ต๋๋ค.
Sun ๋ฑ์ ์ฐ๊ตฌ์ง์ ์ด๋ฌํ ๋ฌธ์ ์ ๋ํ ํด๊ฒฐ์ฑ ์ผ๋ก, KillBadCode๋ผ๋ ํ์ ์ ์ด๊ณ ๊ฒฝ๋ํ๋ ์ฝ๋ ํฌ์ด์ฆ๋ ํ์ง ๊ธฐ๋ฒ์ ์ ์ํ์ต๋๋ค. KillBadCode๋ ์ฝ๋ ํฌ์ด์ฆ๋์ด ์ฝ๋์ ์์ฐ์ค๋ฌ์์ ๊นจ๋จ๋ฆฐ๋ค๋ ํต์ฐฐ๋ ฅ์ ๊ธฐ๋ฐํ์ฌ ์ค๊ณ๋์์ต๋๋ค. ๊ตฌ์ฒด์ ์ผ๋ก, KillBadCode๋ ์ฐ์ ๊ฒฝ๋ํ๋ n-gram ์ธ์ด ๋ชจ๋ธ์ ๊ธฐ๋ฐ์ผ๋ก ์ฝ๋ ์ธ์ด ๋ชจ๋ธ(CodeLM) ์ ๊ตฌ์ถํฉ๋๋ค. ๊ทธ๋ฐ ๋ค์, ํฌ์ด์ฆ๋๋ ๋ฐ์ดํฐ๊ฐ ์ฃผ์ด์ง๋ฉด CodeLM์ ์ฌ์ฉํ์ฌ ์ฝ๋ ์กฐ๊ฐ์์ ์ญ์ ํ์ ๋ ์ฝ๋์ ์์ฐ์ค๋ฌ์์ ๋์ฑ ํฅ์์ํค๋ ํ ํฐ(ํธ๋ฆฌ๊ฑฐ ํ ํฐ)์ ์๋ณํฉ๋๋ค. ๋จ์ผ ์ํ์์ ์ ์์ ์ธ ํ ํฐ์ ์ ๊ฑฐํ๋ ๊ฒ๋ง์ผ๋ก๋ ์ฝ๋์ ์์ฐ์ค๋ฌ์์ด ํฅ์๋์ด ๋์ ์คํ์จ(FPR)์ ์ด๋ํ ์ ์์ผ๋ฏ๋ก, ๋ชจ๋ ์ํ์ ๊ฑธ์ณ ๊ฐ ํ ํฐ์ ๋์ ๊ฐ์ ์ฌํญ์ ์ง๊ณํฉ๋๋ค. ๋ง์ง๋ง์ผ๋ก, KillBadCode๋ ์๋ณ๋ ํธ๋ฆฌ๊ฑฐ ํ ํฐ์ ํฌํจํ๋ ๋ชจ๋ ํฌ์ด์ฆ๋๋ ์ํ์ ์ ๊ฑฐํ์ฌ ๋ฐ์ดํฐ๋ฅผ ์ ์ ํฉ๋๋ค.
๋ ๊ฐ์ง ์ฝ๋ ํฌ์ด์ฆ๋ ๊ณต๊ฒฉ๊ณผ ๋ค ๊ฐ์ง ์ฝ๋ ์ง๋ฅ ์์ ์ ๋ํ ์คํ ๊ฒฐ๊ณผ, KillBadCode๋ ๊ธฐ์กด ๋ฐฉ์๋ณด๋ค ํจ์ฌ ๋ฐ์ด๋ ์ฑ๋ฅ์ ๋ณด์์ต๋๋ค. ํนํ, KillBadCode๋ ์ต์ 5๋ถ์ ์ฒ๋ฆฌ ์๊ฐ์ผ๋ก ๋งค์ฐ ํจ์จ์ ์ด๋ฉฐ, ํ๊ท ์ ์ผ๋ก ์ต๊ณ ์ฑ๋ฅ์ ๊ธฐ์กด ๋ฐฉ์๋ณด๋ค 25๋ฐฐ ๋น ๋ฆ ๋๋ค. ์ด ์ฐ๊ตฌ๋ AI ์์คํ ์ ๋ณด์ ๊ฐํ์ ์ค์ํ ์ง์ ์ ๊ฐ์ ธ์ฌ ๋ฟ๋ง ์๋๋ผ, ๊ฒฝ๋ํ๋ ๋ชจ๋ธ์ ํตํ ํจ์จ์ฑ ํฅ์๊น์ง ๋ฌ์ฑํ์ฌ ์ค์ฉ์ ์ธ ์ธก๋ฉด์์๋ ํฐ ์๋ฏธ๋ฅผ ๊ฐ์ต๋๋ค. ์์ผ๋ก KillBadCode์ ๊ฐ์ ๊ธฐ์ ์ ๋ฐ์ ์ ํตํด ๋์ฑ ์์ ํ๊ณ ์ ๋ขฐํ ์ ์๋ AI ์์คํ ๊ตฌ์ถ์ด ๊ฐ๋ฅํ ๊ฒ์ผ๋ก ๊ธฐ๋๋ฉ๋๋ค.
Reference
[arxiv] Show Me Your Code! Kill Code Poisoning: A Lightweight Method Based on Code Naturalness
Published: ย (Updated: )
Author: Weisong Sun, Yuchen Chen, Mengzhe Yuan, Chunrong Fang, Zhenpeng Chen, Chong Wang, Yang Liu, Baowen Xu, Zhenyu Chen
http://arxiv.org/abs/2502.15830v1