🚨LLM을 μ΄μš©ν•œ μ•…μ„±μ½”λ“œ λ‚œλ…ν™”μ˜ μœ„ν—˜μ„± 증가: MetamorphASM 벀치마크 뢄석


λ³Έ κΈ°μ‚¬λŠ” LLM을 μ΄μš©ν•œ μ•…μ„±μ½”λ“œ λ‚œλ…ν™”μ˜ μœ„ν—˜μ„±μ„ λΆ„μ„ν•œ 연ꡬ에 λŒ€ν•œ λ‚΄μš©μ„ λ‹΄κ³  μžˆμŠ΅λ‹ˆλ‹€. MetamorphASM λ²€μΉ˜λ§ˆν¬μ™€ MAD 데이터셋을 ν™œμš©ν•œ μ‹€ν—˜ κ²°κ³Ό, LLM이 μ–΄μ…ˆλΈ”λ¦¬ μ½”λ“œ λ‚œλ…ν™”μ— μ„±κ³΅μ μœΌλ‘œ ν™œμš©λ  수 μžˆμŒμ„ λ³΄μ—¬μ£Όμ—ˆμœΌλ©°, μ΄λŠ” 사이버 λ³΄μ•ˆμ— μ‹¬κ°ν•œ μœ„ν˜‘μ΄ 될 수 μžˆμŒμ„ μ‹œμ‚¬ν•©λ‹ˆλ‹€. 연ꡬ진은 GitHub에 μ†ŒμŠ€ μ½”λ“œλ₯Ό κ³΅κ°œν•˜μ—¬ ν–₯ν›„ 연ꡬλ₯Ό μœ„ν•œ κΈ°λ°˜μ„ λ§ˆλ ¨ν–ˆμŠ΅λ‹ˆλ‹€.

related iamge

🚨LLM을 μ΄μš©ν•œ μ•…μ„±μ½”λ“œ λ‚œλ…ν™”μ˜ μœ„ν—˜μ„± 증가: MetamorphASM 벀치마크 뢄석

졜근 사이버 λ³΄μ•ˆ 뢄야에 μƒˆλ‘œμš΄ μœ„ν˜‘μ΄ λ“±μž₯ν–ˆμŠ΅λ‹ˆλ‹€. λ°”λ‘œ λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM) 을 μ΄μš©ν•œ μ•…μ„±μ½”λ“œ λ‚œλ…ν™”μž…λ‹ˆλ‹€. 기쑴의 λ‚œλ…ν™” 기법듀은 μ†ŒμŠ€ μ½”λ“œμ— λŒ€ν•œ 접근이 ν•„μš”ν–ˆμ§€λ§Œ, LLM은 μ΄λŸ¬ν•œ μ œμ•½ 없이 μƒˆλ‘œμš΄ λ‚œλ…ν™” νŒ¨ν„΄μ„ 생성할 수 μžˆλ‹€λŠ” κ°€λŠ₯성을 μ œκΈ°ν•©λ‹ˆλ‹€. μ΄λŠ” μ•ˆν‹°λ°”μ΄λŸ¬μŠ€ μ—”μ§„μ˜ νš¨μœ¨μ„±μ„ λ–¨μ–΄λœ¨λ¦¬κ³  κ³΅κ²©μžμ—κ²Œ λ”μš± κ°•λ ₯ν•œ 무기λ₯Ό μ œκ³΅ν•  수 μžˆλ‹€λŠ” μ μ—μ„œ μ‹¬κ°ν•œ λ¬Έμ œμž…λ‹ˆλ‹€.

μ΄λŸ¬ν•œ μœ„ν—˜μ„ μ²΄κ³„μ μœΌλ‘œ λΆ„μ„ν•˜κΈ° μœ„ν•΄ Seyedreza Mohseni λ“± 연ꡬ진은 MetamorphASM 벀치마크λ₯Ό κ°œλ°œν–ˆμŠ΅λ‹ˆλ‹€. MetamorphASM은 MetamorphASM 데이터셋 (MAD) κ³Ό μ„Έ κ°€μ§€ λ‚œλ…ν™” 기법(λ°λ“œ μ½”λ“œ μ‚½μž…, λ ˆμ§€μŠ€ν„° μΉ˜ν™˜, μ œμ–΄ 흐름 λ³€κ²½)으둜 κ΅¬μ„±λ©λ‹ˆλ‹€. MADλŠ” 무렀 328,200개의 λ‚œλ…ν™”λœ μ–΄μ…ˆλΈ”λ¦¬ μ½”λ“œ μƒ˜ν”Œμ„ ν¬ν•¨ν•˜κ³  μžˆμŠ΅λ‹ˆλ‹€.

연ꡬ진은 GPT-3.5/4, GPT-4o-mini, Starcoder, CodeGemma, CodeLlama, CodeT5, LLaMA 3.1 λ“± λ‹€μ–‘ν•œ LLM을 μ‚¬μš©ν•˜μ—¬ 이 데이터셋을 기반으둜 평가λ₯Ό μ§„ν–‰ν–ˆμŠ΅λ‹ˆλ‹€. ν‰κ°€μ—λŠ” 정보이둠적 μ§€ν‘œμ™€ μˆ˜λ™ 인간 κ²€ν† κ°€ μ‚¬μš©λ˜μ–΄ 정확성을 λ†’μ˜€μŠ΅λ‹ˆλ‹€. ν₯미둜운 점은, 이 연ꡬ가 λ‹¨μˆœν•œ 평가에 κ·ΈμΉ˜μ§€ μ•Šκ³ , ν–₯ν›„ μ—°κ΅¬μžλ“€μ΄ μ΄λŸ¬ν•œ μœ„ν—˜μ— λŒ€ν•œ 해결책을 κ°œλ°œν•˜λŠ”λ° ν•„μš”ν•œ κΈ°λ°˜μ„ μ œκ³΅ν–ˆλ‹€λŠ” κ²ƒμž…λ‹ˆλ‹€.

연ꡬ κ²°κ³ΌλŠ” LLM을 μ΄μš©ν•œ μ–΄μ…ˆλΈ”λ¦¬ μ½”λ“œ λ‚œλ…ν™”μ˜ μ‹€ν˜„ κ°€λŠ₯성을 λ³΄μ—¬μ£Όμ—ˆκ³ , μ΄λŠ” 사이버 λ³΄μ•ˆ 뢄야에 μ‹¬κ°ν•œ 영ν–₯을 λ―ΈμΉ  수 μžˆλ‹€λŠ” 것을 μ‹œμ‚¬ν•©λ‹ˆλ‹€. 연ꡬ진은 GitHub (https://github.com/mohammadi-ali/MetamorphASM) μ—μ„œ μ†ŒμŠ€ μ½”λ“œλ₯Ό κ³΅κ°œν•˜μ—¬, λ‹€λ₯Έ μ—°κ΅¬μžλ“€μ΄ 이 연ꡬλ₯Ό λ°”νƒ•μœΌλ‘œ λ”μš± μ‹¬λ„μžˆλŠ” 연ꡬλ₯Ό μ§„ν–‰ν•  수 μžˆλ„λ‘ μ§€μ›ν•˜κ³  μžˆμŠ΅λ‹ˆλ‹€. μ•žμœΌλ‘œ LLM의 λ°œμ „μ— 따라 μ΄λŸ¬ν•œ μœ„ν˜‘μ€ λ”μš± 고도화될 κ°€λŠ₯성이 λ†’μœΌλ―€λ‘œ, 지속적인 연ꡬ와 λŒ€λΉ„κ°€ ν•„μš”ν•©λ‹ˆλ‹€.

핡심 λ‚΄μš©:

  • LLM을 μ΄μš©ν•œ μ–΄μ…ˆλΈ”λ¦¬ μ½”λ“œ λ‚œλ…ν™” κ°€λŠ₯μ„± 확인
  • MetamorphASM 벀치마크 및 MAD 데이터셋 개발 (328,200개 μƒ˜ν”Œ 포함)
  • λ‹€μ–‘ν•œ LLM의 λ‚œλ…ν™” μ½”λ“œ 생성 λŠ₯λ ₯ 평가
  • 정보이둠적 μ§€ν‘œ 및 μˆ˜λ™ κ²€ν† λ₯Ό ν†΅ν•œ μ •ν™•μ„± 확보
  • GitHubλ₯Ό ν†΅ν•œ μ†ŒμŠ€ μ½”λ“œ 곡개 및 ν–₯ν›„ 연ꡬ 지원

*이 κΈ°μ‚¬λŠ” AIκ°€ μƒμ„±ν•œ λ‚΄μš©μœΌλ‘œ, 일뢀 정보가 μ‹€μ œμ™€ λ‹€λ₯Ό 수 μžˆμŠ΅λ‹ˆλ‹€. μ •ν™•ν•œ 확인을 μœ„ν•΄ 좔가적인 검증을 ꢌμž₯λ“œλ¦½λ‹ˆλ‹€.

Reference

[arxiv] Can LLMs Obfuscate Code? A Systematic Analysis of Large Language Models into Assembly Code Obfuscation

Published: Β (Updated: )

Author: Seyedreza Mohseni, Seyedali Mohammadi, Deepa Tilwani, Yash Saxena, Gerald Ndawula, Sriram Vema, Edward Raff, Manas Gaur

http://arxiv.org/abs/2412.16135v2