๐จ ๊ฐ์ธ์ ๋ณด ์ ์ถ ์ํ ์ LLM, PII-Bench๊ฐ ๋ฐํ๋ ์ถฉ๊ฒฉ์ ์ง์ค!
์ค๊ตญ ์ฐ๊ตฌ์ง์ด ๊ฐ๋ฐํ PII-Bench ํ๊ฐ ํ๋ ์์ํฌ๋ฅผ ํตํด LLM์ ๊ฐ์ธ์ ๋ณด๋ณดํธ ์ทจ์ฝ์ ์ด ๋๋ฌ๋ฌ์ต๋๋ค. ํนํ ๋ณต์กํ ์ํฉ์์์ PII ํ์ง ๋ฐ ๋ง์คํน ๊ธฐ์ ์ ๋ถ์กฑ์ด ํ์ธ๋์ด, ๋์ฑ ์ ๊ตํ ๊ฐ์ธ์ ๋ณด ๋ณดํธ ๊ธฐ์ ๊ฐ๋ฐ์ ํ์์ฑ์ด ๊ฐ์กฐ๋์์ต๋๋ค.

๊ฑฐ๋ ์ธ์ด ๋ชจ๋ธ(LLM) ์๋์ ๊ทธ๋ฆผ์: ๊ฐ์ธ์ ๋ณด๋ณดํธ ์ํ
์ต๊ทผ ๊ธ์๋๋ก ๋ฐ์ ํ๋ ๊ฑฐ๋ ์ธ์ด ๋ชจ๋ธ(LLM)์ ์ฐ๋ฆฌ ์ํ ๊ณณ๊ณณ์ ํธ๋ฆฌํจ์ ์ ๊ณตํ์ง๋ง, ๋์์ ๊ฐ์ธ์ ๋ณด ์ ์ถ์ด๋ผ๋ ์ฌ๊ฐํ ์ํ์ ์๊ณ ์์ต๋๋ค. ์ฌ์ฉ์์ ์ง๋ฌธ(ํ๋กฌํํธ)์ ํฌํจ๋ ๊ฐ์ธ ์๋ณ ์ ๋ณด(PII: Personally Identifiable Information)๊ฐ ๋ ธ์ถ๋ ์ํ์ด ์ปค์ง๊ณ ์๋ ๊ฒ์ด์ฃ .
์ค๊ตญ ์ฐ๊ตฌ์ง, PII-Bench๋ก LLM์ ์ทจ์ฝ์ ์ ํํค์น๋ค!
์ค๊ตญ ์ฐ๊ตฌ์ง(Hao Shen, Zhouhong Gu, Haokai Hong, Weili Han)์ ์ด๋ฌํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ํ๊ธฐ์ ์ธ ์ฐ๊ตฌ๋ฅผ ์งํํ์ต๋๋ค. ๋ฐ๋ก, PII-Bench๋ผ๋ ์๋ก์ด ํ๊ฐ ํ๋ ์์ํฌ๋ฅผ ๊ฐ๋ฐํ ๊ฒ์ด์ฃ . PII-Bench๋ ์ฌ์ฉ์์ ์ง๋ฌธ๊ณผ ๊ด๋ จ๋ PII๋ฅผ ๋ง์คํน(๊ฐ๋ฆฌ๋)ํ๋ ์์คํ ์ ํ๊ฐํ๋ ์ต์ด์ ์ข ํฉ์ ์ธ ํ๋ ์์ํฌ์ ๋๋ค. ๋ฌด๋ ค 55๊ฐ์ง์ ์ธ๋ถํ๋ PII ๋ฒ์ฃผ์ ๊ฑธ์ณ 2,842๊ฐ์ ํ ์คํธ ์ํ์ ํฌํจํ๊ณ ์์ผ๋ฉฐ, ๋จ์ผ ์ฃผ์ฒด ์ค๋ช ๋ถํฐ ๋ณต์กํ ๋ค์ค ์ฃผ์ฒด ์ํธ ์์ฉ๊น์ง ๋ค์ํ ์๋๋ฆฌ์ค๋ฅผ ๋ค๋ฃน๋๋ค. ๊ฐ ์ํ์ ์ฌ์ฉ์ ์ง๋ฌธ, ๋ฌธ๋งฅ ์ค๋ช , ๊ทธ๋ฆฌ๊ณ ์ง๋ฌธ๊ณผ ๊ด๋ จ๋ PII๋ฅผ ๋ํ๋ด๋ ํ์ค ๋ต๋ณ์ผ๋ก ์ ์คํ๊ฒ ๊ตฌ์ฑ๋์ด ์์ต๋๋ค.
์ถฉ๊ฒฉ์ ์ธ ๊ฒฐ๊ณผ: ์ต์ฒจ๋จ LLM๋ ๋ณต์กํ ์ํฉ์์ ๋ฌด๋ ฅ!
์ฐ๊ตฌ ๊ฒฐ๊ณผ๋ ์ถฉ๊ฒฉ์ ์ ๋๋ค. ๊ธฐ์กด ๋ชจ๋ธ๋ค์ ๊ธฐ๋ณธ์ ์ธ PII ํ์ง์๋ ์ด๋ ์ ๋ ์ฑ๋ฅ์ ๋ณด์์ง๋ง, PII๊ฐ ์ง๋ฌธ๊ณผ ๊ด๋ จ์ด ์๋์ง ์ฌ๋ถ๋ฅผ ํ๋จํ๋ ๋ฐ๋ ์ฌ๊ฐํ ํ๊ณ๋ฅผ ๋๋ฌ๋์ต๋๋ค. ํนํ ์ต์ฒจ๋จ LLM์กฐ์ฐจ๋ ๋ณต์กํ ๋ค์ค ์ฃผ์ฒด ์๋๋ฆฌ์ค์์๋ ์ด๋ ค์์ ๊ฒช์๋๋ฐ์, ์ด๋ ์ง๋ฅ์ ์ธ PII ๋ง์คํน์ ๋ฌ์ฑํ๊ธฐ ์ํด์๋ ์๋นํ ๊ธฐ์ ์ ๋ฐ์ ์ด ํ์ํ๋ค๋ ๊ฒ์ ์์ฌํฉ๋๋ค.
์์ผ๋ก ๋์๊ฐ ๊ธธ: ๋์ฑ ์ ๊ตํ ๊ฐ์ธ์ ๋ณด ๋ณดํธ ๊ธฐ์ ๊ฐ๋ฐ
์ด๋ฒ ์ฐ๊ตฌ๋ LLM์ ๊ฐ์ธ์ ๋ณด๋ณดํธ ๋ฌธ์ ์ ์ฌ๊ฐ์ฑ์ ๋ค์ ํ๋ฒ ์ผ๊นจ์์ฃผ๋ ๋์์, ๋์ฑ ์ ๊ตํ๊ณ ๊ฐ๋ ฅํ ๊ฐ์ธ์ ๋ณด ๋ณดํธ ๊ธฐ์ ๊ฐ๋ฐ์ ํ์์ฑ์ ๊ฐ์กฐํ๊ณ ์์ต๋๋ค. PII-Bench๋ ์์ผ๋ก LLM ๊ธฐ๋ฐ ์๋น์ค์ ์์ ์ฑ์ ๋์ด๋๋ฐ ์ค์ํ ์ญํ ์ ํ ๊ฒ์ผ๋ก ๊ธฐ๋๋ฉ๋๋ค. ๋จ์ํ PII ํ์ง์์ ๋ฒ์ด๋, ์ง๋ฌธ์ ๋ฌธ๋งฅ์ ์ ํํ ์ดํดํ๊ณ ์ํฉ์ ๋ง๋ ๊ฐ์ธ์ ๋ณด ๋ณดํธ ์ ๋ต์ ์๋ฆฝํ๋ ๊ธฐ์ ๊ฐ๋ฐ์ด์ผ๋ง๋ก, ์ง์ ํ LLM ์๋๋ฅผ ์ด ์ ์๋ ์ด์ ๊ฐ ๋ ๊ฒ์ ๋๋ค. ๐ค
Reference
[arxiv] PII-Bench: Evaluating Query-Aware Privacy Protection Systems
Published: ย (Updated: )
Author: Hao Shen, Zhouhong Gu, Haokai Hong, Weili Han
http://arxiv.org/abs/2502.18545v1