๐จ AI ๋ชจ๋ธ, ๋น์ ์ ํ ์คํธ๋ฅผ ๊ธฐ์ตํ๊ณ ์์๊น์? ๐จ - LLM์ ๋ฐ์ดํฐ ํ๋ผ์ด๋ฒ์ ์ํ๊ณผ gMINT์ ๋ฑ์ฅ
์คํ์ธ ์ฐ๊ตฌํ์ด ๊ฐ๋ฐํ gMINT๋ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ ๋ฐ์ดํฐ ํ๋ผ์ด๋ฒ์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํ ๊ฒฝ์ฌ ๊ธฐ๋ฐ ๋ฉค๋ฒ์ญ ์ถ๋ก ํ ์คํธ์ ๋๋ค. 250๋ง ๊ฐ ์ด์์ ๋ฌธ์ฅ์ ์ฌ์ฉํ ์คํ ๊ฒฐ๊ณผ, 85%~99%์ ๋์ AUC ์ ์๋ฅผ ๋ฌ์ฑํ์ฌ LLM์ ํฌ๋ช ์ฑ๊ณผ ์ค๋ฆฌ์ ํ์ฉ์ ์ํ ์ค์ํ ๊ธฐ์ ๋ก ํ๊ฐ๋ฐ๊ณ ์์ต๋๋ค.

AI ๋ชจ๋ธ, ๋น์ ์ ํ ์คํธ๋ฅผ ๊ธฐ์ตํ๊ณ ์์๊น์?
์ธ๊ณต์ง๋ฅ(AI) ๊ธฐ์ ์ ๋ฐ์ ๊ณผ ํจ๊ป, ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ ํ์ฉ์ด ํญ๋ฐ์ ์ผ๋ก ์ฆ๊ฐํ๊ณ ์์ต๋๋ค. ํ์ง๋ง ์ด๋ฌํ ํธ๋ฆฌํจ ๋ค์๋ ๋ฐ์ดํฐ ํ๋ผ์ด๋ฒ์์ ๋ํ ์ฐ๋ ค๊ฐ ์จ๊ฒจ์ ธ ์์ต๋๋ค. ๋ด๊ฐ ์์ฑํ ํ ์คํธ๊ฐ ์ด๋๊ฐ์ AI ๋ชจ๋ธ ํ์ต์ ์ฌ์ฉ๋์์ ๊ฐ๋ฅ์ฑ์ ์์๊น์?
์คํ์ธ ์ฐ๊ตฌํ(Gonzalo Mancera, Daniel de Alcala, Julian Fierrez, Ruben Tolosana, Aythami Morales)์ ์ฐ๊ตฌ๋ ๋ฐ๋ก ์ด๋ฌํ ์ง๋ฌธ์ ๋ต์ ์ ์ํฉ๋๋ค. ๊ทธ๋ค์ ๊ธฐ์กด์ ๋ฉค๋ฒ์ญ ์ถ๋ก ํ ์คํธ(MINT)๋ฅผ ๊ฐ์ ํ ๊ฒฝ์ฌ ๊ธฐ๋ฐ ๋ฉค๋ฒ์ญ ์ถ๋ก ํ ์คํธ(gMINT) ๋ฅผ ๊ฐ๋ฐํ์ต๋๋ค. gMINT๋ ๊ธฐ๊ณ ํ์ต ๋ชจ๋ธ์ ํ์ต ๊ณผ์ ์ ํน์ ๋ฐ์ดํฐ๊ฐ ์ฌ์ฉ๋์๋์ง ์ฌ๋ถ๋ฅผ ํ๋ณํ๋ ๊ธฐ์ ์ ๋๋ค. ํนํ, ์์ฐ์ด ์ฒ๋ฆฌ(NLP) ๋ถ์ผ์ LLM์ ์ด์ ์ ๋ง์ถฐ ๊ฐ๋ฐ๋์์ต๋๋ค.
gMINT: LLM์ ๋ฐ์ดํฐ ํ๋ผ์ด๋ฒ์ ๊ฐ์์
gMINT๋ ๊ฒฝ์ฌ ๊ธฐ๋ฐ ๋ถ์์ด๋ผ๋ ๊ฐ๋ ฅํ ๋๊ตฌ๋ฅผ ํ์ฉํฉ๋๋ค. ์ด๋ฅผ ํตํด LLM์ด ํ์ต ๊ณผ์ ์์ ์ด๋ค ๋ฐ์ดํฐ๋ฅผ ์ฌ์ฉํ๋์ง ํจ์จ์ ์ผ๋ก ๋ถ์ํ ์ ์์ต๋๋ค. ์ด๋ ๋ง์น ํ์ ์ด ๋ฒ์ฃ ํ์ฅ์ ํ์ ์ ๋ถ์ํ๋ฏ์ด, AI ๋ชจ๋ธ์ '๊ธฐ์ต' ์์ ์ด๋ค ๋ฐ์ดํฐ๊ฐ ๋จ์์๋์ง ์ถ์ ํ๋ ๊ฒ๊ณผ ๊ฐ์ต๋๋ค.
๋๋ผ์ด ์ ํ๋: 85%~99%
์ฐ๊ตฌํ์ 7๊ฐ์ Transformer ๊ธฐ๋ฐ ๋ชจ๋ธ๊ณผ 250๋ง ๊ฐ ์ด์์ ๋ฌธ์ฅ์ผ๋ก ์ด๋ฃจ์ด์ง 6๊ฐ์ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ์ฌ์ฉํ์ฌ gMINT๋ฅผ ์คํํ์ต๋๋ค. ๊ทธ ๊ฒฐ๊ณผ๋ ๋๋ผ์ ์ต๋๋ค. gMINT๋ ๋ฐ์ดํฐ ํฌ๊ธฐ์ ๋ชจ๋ธ ์ํคํ ์ฒ์ ๋ฐ๋ผ ๋ค์ ์ฐจ์ด๊ฐ ์์์ง๋ง, 85%~99%์ AUC(Area Under the Curve) ์ ์๋ฅผ ๋ฌ์ฑํ๋ฉฐ ๋์ ์ ํ๋๋ฅผ ๊ธฐ๋กํ์ต๋๋ค. ์ด๋ gMINT๊ฐ LLM์ ๋ฐ์ดํฐ ํ๋ผ์ด๋ฒ์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ๋ฐ ์ค์ง์ ์ธ ๋์์ ์ค ์ ์์์ ์์ฌํฉ๋๋ค.
์ค๋ฆฌ์ AI ์๋๋ฅผ ํฅํ์ฌ
์ด ์ฐ๊ตฌ๋ ๋จ์ํ ๊ธฐ์ ์ ์ธ ์ฑ๊ณผ๋ฅผ ๋์ด, AI ๊ธฐ์ ์ ์ค๋ฆฌ์ ์ธ ์ธก๋ฉด์ ๋ํ ์ค์ํ ์์ฌ์ ์ ์ ๊ณตํฉ๋๋ค. gMINT๋ AI ๋ชจ๋ธ์ ํฌ๋ช ์ฑ์ ํ๋ณดํ๊ณ , ๋ฏผ๊ฐํ ๋ฐ์ดํฐ์ ๋ณดํธ๋ฅผ ๊ฐํํ๋ฉฐ, AI/NLP ๊ธฐ์ ์ ์ค๋ฆฌ์ ์ค์๋ฅผ ์ด์งํ๋ ๋ฐ ๊ธฐ์ฌํ ์ ์์ต๋๋ค. gMINT์ ๊ฐ์ ๊ธฐ์ ์ ๋ฐ์ ์ ๋์ฑ ์์ ํ๊ณ ์ค๋ฆฌ์ ์ธ AI ์๋๋ฅผ ์ฌ๋ ๋ฐ ์ค์ํ ์ญํ ์ ํ ๊ฒ์ ๋๋ค. ์์ผ๋ก๋ AI์ ์ค๋ฆฌ์ ๊ฐ๋ฐ๊ณผ ํ์ฉ์ ๋ํ ์ง์์ ์ธ ๊ด์ฌ๊ณผ ์ฐ๊ตฌ๊ฐ ํ์ํฉ๋๋ค.
Reference
[arxiv] Is My Text in Your AI Model? Gradient-based Membership Inference Test applied to LLMs
Published: ย (Updated: )
Author: Gonzalo Mancera, Daniel de Alcala, Julian Fierrez, Ruben Tolosana, Aythami Morales
http://arxiv.org/abs/2503.07384v1