๐Ÿšจ ๊ฐœ์ธ์ •๋ณด ์œ ์ถœ ์œ„ํ—˜ ์† LLM, PII-Bench๊ฐ€ ๋ฐํžˆ๋Š” ์ถฉ๊ฒฉ์  ์ง„์‹ค!


์ค‘๊ตญ ์—ฐ๊ตฌ์ง„์ด ๊ฐœ๋ฐœํ•œ PII-Bench ํ‰๊ฐ€ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ํ†ตํ•ด LLM์˜ ๊ฐœ์ธ์ •๋ณด๋ณดํ˜ธ ์ทจ์•ฝ์ ์ด ๋“œ๋Ÿฌ๋‚ฌ์Šต๋‹ˆ๋‹ค. ํŠนํžˆ ๋ณต์žกํ•œ ์ƒํ™ฉ์—์„œ์˜ PII ํƒ์ง€ ๋ฐ ๋งˆ์Šคํ‚น ๊ธฐ์ˆ ์˜ ๋ถ€์กฑ์ด ํ™•์ธ๋˜์–ด, ๋”์šฑ ์ •๊ตํ•œ ๊ฐœ์ธ์ •๋ณด ๋ณดํ˜ธ ๊ธฐ์ˆ  ๊ฐœ๋ฐœ์˜ ํ•„์š”์„ฑ์ด ๊ฐ•์กฐ๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

related iamge

๊ฑฐ๋Œ€ ์–ธ์–ด ๋ชจ๋ธ(LLM) ์‹œ๋Œ€์˜ ๊ทธ๋ฆผ์ž: ๊ฐœ์ธ์ •๋ณด๋ณดํ˜ธ ์œ„ํ˜‘

์ตœ๊ทผ ๊ธ‰์†๋„๋กœ ๋ฐœ์ „ํ•˜๋Š” ๊ฑฐ๋Œ€ ์–ธ์–ด ๋ชจ๋ธ(LLM)์€ ์šฐ๋ฆฌ ์ƒํ™œ ๊ณณ๊ณณ์— ํŽธ๋ฆฌํ•จ์„ ์ œ๊ณตํ•˜์ง€๋งŒ, ๋™์‹œ์— ๊ฐœ์ธ์ •๋ณด ์œ ์ถœ์ด๋ผ๋Š” ์‹ฌ๊ฐํ•œ ์œ„ํ˜‘์„ ์•ˆ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž์˜ ์งˆ๋ฌธ(ํ”„๋กฌํ”„ํŠธ)์— ํฌํ•จ๋œ ๊ฐœ์ธ ์‹๋ณ„ ์ •๋ณด(PII: Personally Identifiable Information)๊ฐ€ ๋…ธ์ถœ๋  ์œ„ํ—˜์ด ์ปค์ง€๊ณ  ์žˆ๋Š” ๊ฒƒ์ด์ฃ .

์ค‘๊ตญ ์—ฐ๊ตฌ์ง„, PII-Bench๋กœ LLM์˜ ์ทจ์•ฝ์ ์„ ํŒŒํ—ค์น˜๋‹ค!

์ค‘๊ตญ ์—ฐ๊ตฌ์ง„(Hao Shen, Zhouhong Gu, Haokai Hong, Weili Han)์€ ์ด๋Ÿฌํ•œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ํš๊ธฐ์ ์ธ ์—ฐ๊ตฌ๋ฅผ ์ง„ํ–‰ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ฐ”๋กœ, PII-Bench๋ผ๋Š” ์ƒˆ๋กœ์šด ํ‰๊ฐ€ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ๊ฐœ๋ฐœํ•œ ๊ฒƒ์ด์ฃ . PII-Bench๋Š” ์‚ฌ์šฉ์ž์˜ ์งˆ๋ฌธ๊ณผ ๊ด€๋ จ๋œ PII๋ฅผ ๋งˆ์Šคํ‚น(๊ฐ€๋ฆฌ๋Š”)ํ•˜๋Š” ์‹œ์Šคํ…œ์„ ํ‰๊ฐ€ํ•˜๋Š” ์ตœ์ดˆ์˜ ์ข…ํ•ฉ์ ์ธ ํ”„๋ ˆ์ž„์›Œํฌ์ž…๋‹ˆ๋‹ค. ๋ฌด๋ ค 55๊ฐ€์ง€์˜ ์„ธ๋ถ„ํ™”๋œ PII ๋ฒ”์ฃผ์— ๊ฑธ์ณ 2,842๊ฐœ์˜ ํ…Œ์ŠคํŠธ ์ƒ˜ํ”Œ์„ ํฌํ•จํ•˜๊ณ  ์žˆ์œผ๋ฉฐ, ๋‹จ์ผ ์ฃผ์ฒด ์„ค๋ช…๋ถ€ํ„ฐ ๋ณต์žกํ•œ ๋‹ค์ค‘ ์ฃผ์ฒด ์ƒํ˜ธ ์ž‘์šฉ๊นŒ์ง€ ๋‹ค์–‘ํ•œ ์‹œ๋‚˜๋ฆฌ์˜ค๋ฅผ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ๊ฐ ์ƒ˜ํ”Œ์€ ์‚ฌ์šฉ์ž ์งˆ๋ฌธ, ๋ฌธ๋งฅ ์„ค๋ช…, ๊ทธ๋ฆฌ๊ณ  ์งˆ๋ฌธ๊ณผ ๊ด€๋ จ๋œ PII๋ฅผ ๋‚˜ํƒ€๋‚ด๋Š” ํ‘œ์ค€ ๋‹ต๋ณ€์œผ๋กœ ์‹ ์ค‘ํ•˜๊ฒŒ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.

์ถฉ๊ฒฉ์ ์ธ ๊ฒฐ๊ณผ: ์ตœ์ฒจ๋‹จ LLM๋„ ๋ณต์žกํ•œ ์ƒํ™ฉ์—์„  ๋ฌด๋ ฅ!

์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋Š” ์ถฉ๊ฒฉ์ ์ž…๋‹ˆ๋‹ค. ๊ธฐ์กด ๋ชจ๋ธ๋“ค์€ ๊ธฐ๋ณธ์ ์ธ PII ํƒ์ง€์—๋Š” ์–ด๋А ์ •๋„ ์„ฑ๋Šฅ์„ ๋ณด์˜€์ง€๋งŒ, PII๊ฐ€ ์งˆ๋ฌธ๊ณผ ๊ด€๋ จ์ด ์žˆ๋Š”์ง€ ์—ฌ๋ถ€๋ฅผ ํŒ๋‹จํ•˜๋Š” ๋ฐ๋Š” ์‹ฌ๊ฐํ•œ ํ•œ๊ณ„๋ฅผ ๋“œ๋Ÿฌ๋ƒˆ์Šต๋‹ˆ๋‹ค. ํŠนํžˆ ์ตœ์ฒจ๋‹จ LLM์กฐ์ฐจ๋„ ๋ณต์žกํ•œ ๋‹ค์ค‘ ์ฃผ์ฒด ์‹œ๋‚˜๋ฆฌ์˜ค์—์„œ๋Š” ์–ด๋ ค์›€์„ ๊ฒช์—ˆ๋Š”๋ฐ์š”, ์ด๋Š” ์ง€๋Šฅ์ ์ธ PII ๋งˆ์Šคํ‚น์„ ๋‹ฌ์„ฑํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” ์ƒ๋‹นํ•œ ๊ธฐ์ˆ ์  ๋ฐœ์ „์ด ํ•„์š”ํ•˜๋‹ค๋Š” ๊ฒƒ์„ ์‹œ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

์•ž์œผ๋กœ ๋‚˜์•„๊ฐˆ ๊ธธ: ๋”์šฑ ์ •๊ตํ•œ ๊ฐœ์ธ์ •๋ณด ๋ณดํ˜ธ ๊ธฐ์ˆ  ๊ฐœ๋ฐœ

์ด๋ฒˆ ์—ฐ๊ตฌ๋Š” LLM์˜ ๊ฐœ์ธ์ •๋ณด๋ณดํ˜ธ ๋ฌธ์ œ์˜ ์‹ฌ๊ฐ์„ฑ์„ ๋‹ค์‹œ ํ•œ๋ฒˆ ์ผ๊นจ์›Œ์ฃผ๋Š” ๋™์‹œ์—, ๋”์šฑ ์ •๊ตํ•˜๊ณ  ๊ฐ•๋ ฅํ•œ ๊ฐœ์ธ์ •๋ณด ๋ณดํ˜ธ ๊ธฐ์ˆ  ๊ฐœ๋ฐœ์˜ ํ•„์š”์„ฑ์„ ๊ฐ•์กฐํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. PII-Bench๋Š” ์•ž์œผ๋กœ LLM ๊ธฐ๋ฐ˜ ์„œ๋น„์Šค์˜ ์•ˆ์ „์„ฑ์„ ๋†’์ด๋Š”๋ฐ ์ค‘์š”ํ•œ ์—ญํ• ์„ ํ•  ๊ฒƒ์œผ๋กœ ๊ธฐ๋Œ€๋ฉ๋‹ˆ๋‹ค. ๋‹จ์ˆœํ•œ PII ํƒ์ง€์—์„œ ๋ฒ—์–ด๋‚˜, ์งˆ๋ฌธ์˜ ๋ฌธ๋งฅ์„ ์ •ํ™•ํžˆ ์ดํ•ดํ•˜๊ณ  ์ƒํ™ฉ์— ๋งž๋Š” ๊ฐœ์ธ์ •๋ณด ๋ณดํ˜ธ ์ „๋žต์„ ์ˆ˜๋ฆฝํ•˜๋Š” ๊ธฐ์ˆ  ๊ฐœ๋ฐœ์ด์•ผ๋ง๋กœ, ์ง„์ •ํ•œ LLM ์‹œ๋Œ€๋ฅผ ์—ด ์ˆ˜ ์žˆ๋Š” ์—ด์‡ ๊ฐ€ ๋  ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๐Ÿค”


*์ด ๊ธฐ์‚ฌ๋Š” AI๊ฐ€ ์ƒ์„ฑํ•œ ๋‚ด์šฉ์œผ๋กœ, ์ผ๋ถ€ ์ •๋ณด๊ฐ€ ์‹ค์ œ์™€ ๋‹ค๋ฅผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ •ํ™•ํ•œ ํ™•์ธ์„ ์œ„ํ•ด ์ถ”๊ฐ€์ ์ธ ๊ฒ€์ฆ์„ ๊ถŒ์žฅ๋“œ๋ฆฝ๋‹ˆ๋‹ค.

Reference

[arxiv] PII-Bench: Evaluating Query-Aware Privacy Protection Systems

Published: ย (Updated: )

Author: Hao Shen, Zhouhong Gu, Haokai Hong, Weili Han

http://arxiv.org/abs/2502.18545v1