๐จ AI์ ์ค๋ฆฌ์ ๋ฌธ์ ํด๊ฒฐ์ ํ ๊ฑธ์ ๋! ๋ค๊ตญ์ด ๋ ์ฑ ์ ๊ฑฐ ๊ธฐ์ ๊ฐ๋ฐ
๋ณธ ๊ธฐ์ฌ๋ ๋ค๊ตญ์ด ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ๋ ์ฑ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํ ํ๊ธฐ์ ์ธ ์ฐ๊ตฌ ๊ฒฐ๊ณผ๋ฅผ ์๊ฐํฉ๋๋ค. Himanshu Beniwal ๋ฑ ์ฐ๊ตฌ์ง์ '๋ค๊ตญ์ด ๋ ์ฑ ์ ๊ฑฐ'๋ผ๋ ์๋ก์ด ํจ๋ฌ๋ค์์ ์ ์ํ๊ณ , 504๊ฐ์ง ์คํ์ ํตํด ์ ์์ ์ธ์ด์์์ ํจ๊ณผ์ ์์ ์ฑ ๋ฐ ์ฑ๋ฅ ๊ฐ์ ๊ท ํ์ ์ ๋ถ์ํ์ต๋๋ค. ๊ณต๊ฐ๋ ์ฝ๋์ ๋ฐ์ดํฐ ์ธํธ๋ ์ง์์ ์ธ ์ฐ๊ตฌ ๋ฐ์ ์ ๊ธฐ์ฌํ ๊ฒ์ผ๋ก ์์๋ฉ๋๋ค.

์ ์ธ๊ณ์ ์ผ๋ก ์ฌ์ฉ๋๋ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ด ๊ธ์ฆํ๋ฉด์, ๋ค์ํ ์ธ์ด ํ๊ฒฝ์์์ ๋ ์ฑ ๋ฌธ์ ํด๊ฒฐ์ ๋งค์ฐ ์ค์ํ ๊ณผ์ ๋ก ๋ ์ฌ๋์ต๋๋ค. ์ต๊ทผ Himanshu Beniwal, Youngwoo Kim, Maarten Sap, Soham Dan, Thomas Hartvigsen ๋ฑ ์ฐ๊ตฌ์ง์ "Breaking mBad! Supervised Fine-tuning for Cross-Lingual Detoxification" ๋ ผ๋ฌธ์ ํตํด ์ด ๋ฌธ์ ์ ๋ํ ํ๊ธฐ์ ์ธ ํด๊ฒฐ์ฑ ์ ์ ์ํ์ต๋๋ค.
์ด ์ฐ๊ตฌ๋ ๋ค๊ตญ์ด ๋ ์ฑ ์ ๊ฑฐ(Cross-lingual Detoxification) ๋ผ๋ ์๋ก์ด ํจ๋ฌ๋ค์์ ์ ์ํฉ๋๋ค. ์ด๋ ๊ณ ์์ ์ธ์ด์ ์ ์์ ์ธ์ด ๊ฐ์ ๋ ์ฑ ๊ฐ์ ๊ธฐ๋ฅ์ ์ ์ด์์ผ, ๋ค์ํ ์ธ์ด ๋ฐ ๋ฌธ์ ์ฒด๊ณ๋ฅผ ์์ฐ๋ฅด๋ ๋ ์ฑ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค.
์ฐ๊ตฌํ์ 504๊ฐ์ง์ ๊ด๋ฒ์ํ ์ค์ ์ ํตํด ๋ค๊ตญ์ด ๋ ์ฑ ์ ๊ฑฐ์ ํจ๊ณผ๋ฅผ ๋ถ์ํ์ต๋๋ค. ํนํ, ๋ฐ์ดํฐ๊ฐ ์ ํ์ ์ธ ํ๊ฒฝ์์์ ๋ ์ฑ ๊ฐ์ ํจ๊ณผ์ ๋ ์ฑ์ด ์๋ ์์ ์์์ ๋ชจ๋ธ ์ฑ๋ฅ ์ ํ ์ฌ์ด์ ์๊ด๊ด๊ณ๋ฅผ ๋ถ์ํ์ฌ ์์ ์ฑ๊ณผ ์ง์ ๋ณด์กด ๊ฐ์ ๊ท ํ์ ์ ์ฐพ๋ ๋ฐ ์ฃผ๋ ฅํ์ต๋๋ค. ์ด๋ ๋จ์ํ ๋ ์ฑ์ ์ ๊ฑฐํ๋ ๊ฒ๋ฟ๋ง ์๋๋ผ, AI ๋ชจ๋ธ์ ์ ์ฉ์ฑ์ ์ ์งํ๋ฉด์ ์์ ์ฑ์ ํ๋ณดํ๋ ๋ฐ ์ด์ ์ ๋ง์ถ ๋งค์ฐ ์ค์ํ ์ฐ๊ตฌ์ ๋๋ค.
๋์ฑ ๊ณ ๋ฌด์ ์ธ ๊ฒ์ ์ฐ๊ตฌํ์ด ์ฌ์ฉํ ์ฝ๋์ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ๊ณต๊ฐ์ ์ผ๋ก ๊ณต์ ํ๋ค๋ ์ ์ ๋๋ค. (https://github.com/himanshubeniwal/Breaking-mBad) ์ด๋ ๋ค๋ฅธ ์ฐ๊ตฌ์๋ค์ด ์ด ์ฐ๊ตฌ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํ์ผ๋ก ๋์ฑ ๋ฐ์ ๋ ๊ธฐ์ ์ ๊ฐ๋ฐํ๋ ๋ฐ ๊ธฐ์ฌํ ์ ์์์ ์๋ฏธํฉ๋๋ค. ์ด๋ฅผ ํตํด ๋์ฑ ์์ ํ๊ณ ์ค๋ฆฌ์ ์ธ AI ์์คํ ๊ตฌ์ถ์ ํ ๊ฑธ์ ๋ ๋ค๊ฐ๊ฐ ์ ์์ ๊ฒ์ผ๋ก ๊ธฐ๋๋ฉ๋๋ค.
๊ฒฐ๋ก ์ ์ผ๋ก, ์ด ์ฐ๊ตฌ๋ ๋ค๊ตญ์ด ์ง์ AI ๋ชจ๋ธ์ ๋ ์ฑ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ๋ฐ ์ค์ํ ์ ํ์ ์ ๋ง๋ จํ์ต๋๋ค. ์ ํ๋ ๋ฐ์ดํฐ ํ๊ฒฝ์์๋ ํจ๊ณผ์ ์ผ๋ก ๋ ์ฑ์ ์ค์ผ ์ ์๋ ๋ฐฉ๋ฒ์ ์ ์ํจ์ผ๋ก์จ, ์ค์ ์ธ๊ณ ์ ์ฉ ๊ฐ๋ฅ์ฑ์ ๋์์ต๋๋ค. ์์ ์ฑ๊ณผ ์ฑ๋ฅ ๊ฐ์ ๊ท ํ์ ๊ณ ๋ คํ ์ด ์ฐ๊ตฌ์ ์ ๊ทผ ๋ฐฉ์์ ์์ผ๋ก AI ๊ฐ๋ฐ์ ์ค๋ฆฌ์ ์ธ ์ธก๋ฉด์ ๊ณ ๋ คํ๋ ๋ฐ ์ค์ํ ํ์ค์ ์ ์ํ ๊ฒ์ผ๋ก ์์๋ฉ๋๋ค.
์ฐ๊ตฌ์ ํต์ฌ:
- ๋ค๊ตญ์ด ๋ ์ฑ ์ ๊ฑฐ(Cross-lingual Detoxification) ํจ๋ฌ๋ค์ ์ ์
- 504๊ฐ์ง ์ค์ ์ ํตํ ๊ด๋ฒ์ํ ์คํ ๋ฐ ๋ถ์
- ๋ฐ์ดํฐ ํจ์จ์ฑ ์ฆ๋ ๋ฐ ์์ ์ฑ๊ณผ ์ฑ๋ฅ ๊ฐ์ ๊ท ํ์ ๋์ถ
- ์ฝ๋ ๋ฐ ๋ฐ์ดํฐ ์ธํธ ๊ณต๊ฐ๋ฅผ ํตํ ์ฐ๊ตฌ ๊ฒฐ๊ณผ ๊ณต์ ๋ฐ ์ง์์ ์ธ ๋ฐ์ ๊ฐ๋ฅ์ฑ ์ ์
Reference
[arxiv] Breaking mBad! Supervised Fine-tuning for Cross-Lingual Detoxification
Published: ย (Updated: )
Author: Himanshu Beniwal, Youngwoo Kim, Maarten Sap, Soham Dan, Thomas Hartvigsen
http://arxiv.org/abs/2505.16722v1