๐Ÿšจ AI ๋ชจ๋ธ, ๋‹น์‹ ์˜ ํ…์ŠคํŠธ๋ฅผ ๊ธฐ์–ตํ•˜๊ณ  ์žˆ์„๊นŒ์š”? ๐Ÿšจ - LLM์˜ ๋ฐ์ดํ„ฐ ํ”„๋ผ์ด๋ฒ„์‹œ ์œ„ํ˜‘๊ณผ gMINT์˜ ๋“ฑ์žฅ


์ŠคํŽ˜์ธ ์—ฐ๊ตฌํŒ€์ด ๊ฐœ๋ฐœํ•œ gMINT๋Š” ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)์˜ ๋ฐ์ดํ„ฐ ํ”„๋ผ์ด๋ฒ„์‹œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•œ ๊ฒฝ์‚ฌ ๊ธฐ๋ฐ˜ ๋ฉค๋ฒ„์‹ญ ์ถ”๋ก  ํ…Œ์ŠคํŠธ์ž…๋‹ˆ๋‹ค. 250๋งŒ ๊ฐœ ์ด์ƒ์˜ ๋ฌธ์žฅ์„ ์‚ฌ์šฉํ•œ ์‹คํ—˜ ๊ฒฐ๊ณผ, 85%~99%์˜ ๋†’์€ AUC ์ ์ˆ˜๋ฅผ ๋‹ฌ์„ฑํ•˜์—ฌ LLM์˜ ํˆฌ๋ช…์„ฑ๊ณผ ์œค๋ฆฌ์  ํ™œ์šฉ์„ ์œ„ํ•œ ์ค‘์š”ํ•œ ๊ธฐ์ˆ ๋กœ ํ‰๊ฐ€๋ฐ›๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

related iamge

AI ๋ชจ๋ธ, ๋‹น์‹ ์˜ ํ…์ŠคํŠธ๋ฅผ ๊ธฐ์–ตํ•˜๊ณ  ์žˆ์„๊นŒ์š”?

์ธ๊ณต์ง€๋Šฅ(AI) ๊ธฐ์ˆ ์˜ ๋ฐœ์ „๊ณผ ํ•จ๊ป˜, ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)์˜ ํ™œ์šฉ์ด ํญ๋ฐœ์ ์œผ๋กœ ์ฆ๊ฐ€ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์ด๋Ÿฌํ•œ ํŽธ๋ฆฌํ•จ ๋’ค์—๋Š” ๋ฐ์ดํ„ฐ ํ”„๋ผ์ด๋ฒ„์‹œ์— ๋Œ€ํ•œ ์šฐ๋ ค๊ฐ€ ์ˆจ๊ฒจ์ ธ ์žˆ์Šต๋‹ˆ๋‹ค. ๋‚ด๊ฐ€ ์ž‘์„ฑํ•œ ํ…์ŠคํŠธ๊ฐ€ ์–ด๋”˜๊ฐ€์˜ AI ๋ชจ๋ธ ํ•™์Šต์— ์‚ฌ์šฉ๋˜์—ˆ์„ ๊ฐ€๋Šฅ์„ฑ์€ ์—†์„๊นŒ์š”?

์ŠคํŽ˜์ธ ์—ฐ๊ตฌํŒ€(Gonzalo Mancera, Daniel de Alcala, Julian Fierrez, Ruben Tolosana, Aythami Morales)์˜ ์—ฐ๊ตฌ๋Š” ๋ฐ”๋กœ ์ด๋Ÿฌํ•œ ์งˆ๋ฌธ์— ๋‹ต์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋“ค์€ ๊ธฐ์กด์˜ ๋ฉค๋ฒ„์‹ญ ์ถ”๋ก  ํ…Œ์ŠคํŠธ(MINT)๋ฅผ ๊ฐœ์„ ํ•œ ๊ฒฝ์‚ฌ ๊ธฐ๋ฐ˜ ๋ฉค๋ฒ„์‹ญ ์ถ”๋ก  ํ…Œ์ŠคํŠธ(gMINT) ๋ฅผ ๊ฐœ๋ฐœํ–ˆ์Šต๋‹ˆ๋‹ค. gMINT๋Š” ๊ธฐ๊ณ„ ํ•™์Šต ๋ชจ๋ธ์˜ ํ•™์Šต ๊ณผ์ •์— ํŠน์ • ๋ฐ์ดํ„ฐ๊ฐ€ ์‚ฌ์šฉ๋˜์—ˆ๋Š”์ง€ ์—ฌ๋ถ€๋ฅผ ํŒ๋ณ„ํ•˜๋Š” ๊ธฐ์ˆ ์ž…๋‹ˆ๋‹ค. ํŠนํžˆ, ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ(NLP) ๋ถ„์•ผ์˜ LLM์— ์ดˆ์ ์„ ๋งž์ถฐ ๊ฐœ๋ฐœ๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

gMINT: LLM์˜ ๋ฐ์ดํ„ฐ ํ”„๋ผ์ด๋ฒ„์‹œ ๊ฐ์‹œ์ž

gMINT๋Š” ๊ฒฝ์‚ฌ ๊ธฐ๋ฐ˜ ๋ถ„์„์ด๋ผ๋Š” ๊ฐ•๋ ฅํ•œ ๋„๊ตฌ๋ฅผ ํ™œ์šฉํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด LLM์ด ํ•™์Šต ๊ณผ์ •์—์„œ ์–ด๋–ค ๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ–ˆ๋Š”์ง€ ํšจ์œจ์ ์œผ๋กœ ๋ถ„์„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ๋งˆ์น˜ ํƒ์ •์ด ๋ฒ”์ฃ„ ํ˜„์žฅ์˜ ํ”์ ์„ ๋ถ„์„ํ•˜๋“ฏ์ด, AI ๋ชจ๋ธ์˜ '๊ธฐ์–ต' ์†์— ์–ด๋–ค ๋ฐ์ดํ„ฐ๊ฐ€ ๋‚จ์•„์žˆ๋Š”์ง€ ์ถ”์ ํ•˜๋Š” ๊ฒƒ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

๋†€๋ผ์šด ์ •ํ™•๋„: 85%~99%

์—ฐ๊ตฌํŒ€์€ 7๊ฐœ์˜ Transformer ๊ธฐ๋ฐ˜ ๋ชจ๋ธ๊ณผ 250๋งŒ ๊ฐœ ์ด์ƒ์˜ ๋ฌธ์žฅ์œผ๋กœ ์ด๋ฃจ์–ด์ง„ 6๊ฐœ์˜ ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ gMINT๋ฅผ ์‹คํ—˜ํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ทธ ๊ฒฐ๊ณผ๋Š” ๋†€๋ผ์› ์Šต๋‹ˆ๋‹ค. gMINT๋Š” ๋ฐ์ดํ„ฐ ํฌ๊ธฐ์™€ ๋ชจ๋ธ ์•„ํ‚คํ…์ฒ˜์— ๋”ฐ๋ผ ๋‹ค์†Œ ์ฐจ์ด๊ฐ€ ์žˆ์—ˆ์ง€๋งŒ, 85%~99%์˜ AUC(Area Under the Curve) ์ ์ˆ˜๋ฅผ ๋‹ฌ์„ฑํ•˜๋ฉฐ ๋†’์€ ์ •ํ™•๋„๋ฅผ ๊ธฐ๋กํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” gMINT๊ฐ€ LLM์˜ ๋ฐ์ดํ„ฐ ํ”„๋ผ์ด๋ฒ„์‹œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” ๋ฐ ์‹ค์งˆ์ ์ธ ๋„์›€์„ ์ค„ ์ˆ˜ ์žˆ์Œ์„ ์‹œ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

์œค๋ฆฌ์  AI ์‹œ๋Œ€๋ฅผ ํ–ฅํ•˜์—ฌ

์ด ์—ฐ๊ตฌ๋Š” ๋‹จ์ˆœํžˆ ๊ธฐ์ˆ ์ ์ธ ์„ฑ๊ณผ๋ฅผ ๋„˜์–ด, AI ๊ธฐ์ˆ ์˜ ์œค๋ฆฌ์ ์ธ ์ธก๋ฉด์— ๋Œ€ํ•œ ์ค‘์š”ํ•œ ์‹œ์‚ฌ์ ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. gMINT๋Š” AI ๋ชจ๋ธ์˜ ํˆฌ๋ช…์„ฑ์„ ํ™•๋ณดํ•˜๊ณ , ๋ฏผ๊ฐํ•œ ๋ฐ์ดํ„ฐ์˜ ๋ณดํ˜ธ๋ฅผ ๊ฐ•ํ™”ํ•˜๋ฉฐ, AI/NLP ๊ธฐ์ˆ ์˜ ์œค๋ฆฌ์  ์ค€์ˆ˜๋ฅผ ์ด‰์ง„ํ•˜๋Š” ๋ฐ ๊ธฐ์—ฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. gMINT์™€ ๊ฐ™์€ ๊ธฐ์ˆ ์˜ ๋ฐœ์ „์€ ๋”์šฑ ์•ˆ์ „ํ•˜๊ณ  ์œค๋ฆฌ์ ์ธ AI ์‹œ๋Œ€๋ฅผ ์—ฌ๋Š” ๋ฐ ์ค‘์š”ํ•œ ์—ญํ• ์„ ํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์•ž์œผ๋กœ๋„ AI์˜ ์œค๋ฆฌ์  ๊ฐœ๋ฐœ๊ณผ ํ™œ์šฉ์— ๋Œ€ํ•œ ์ง€์†์ ์ธ ๊ด€์‹ฌ๊ณผ ์—ฐ๊ตฌ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.


*์ด ๊ธฐ์‚ฌ๋Š” AI๊ฐ€ ์ƒ์„ฑํ•œ ๋‚ด์šฉ์œผ๋กœ, ์ผ๋ถ€ ์ •๋ณด๊ฐ€ ์‹ค์ œ์™€ ๋‹ค๋ฅผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ •ํ™•ํ•œ ํ™•์ธ์„ ์œ„ํ•ด ์ถ”๊ฐ€์ ์ธ ๊ฒ€์ฆ์„ ๊ถŒ์žฅ๋“œ๋ฆฝ๋‹ˆ๋‹ค.

Reference

[arxiv] Is My Text in Your AI Model? Gradient-based Membership Inference Test applied to LLMs

Published: ย (Updated: )

Author: Gonzalo Mancera, Daniel de Alcala, Julian Fierrez, Ruben Tolosana, Aythami Morales

http://arxiv.org/abs/2503.07384v1