두 개의 머리가 더 낫다: 미세 조정 평균화를 통한 표적 전이성 향상


Hui Zeng, Sanshuai Cui, Biwei Chen, Anjie Peng 연구팀이 표적 공격의 전이성을 향상시키는 새로운 방법을 제시했습니다. 미세 조정 궤적의 평균화를 통해 생성된 적대적 예시(AE)를 손실 함수 표면의 중심 영역으로 이동시켜 전이성을 향상시켰으며, 다양한 실험에서 우수한 성능을 검증했습니다. 코드 또한 공개되어 향후 연구에 큰 기여를 할 것으로 기대됩니다.

related iamge

AI 보안 분야의 획기적인 발전: 증, 최, 첸, 펑 연구팀은 최근 표적 공격의 전이성을 향상시키는 혁신적인 방법을 발표했습니다. 기존의 표적 공격은 비표적 공격보다 훨씬 긴 최적화 시간을 필요로 하지만, 전이성은 여전히 미흡한 수준이었습니다. 이 문제를 해결하기 위해 연구팀은 기존의 적대적 예시(AE)를 특징 공간에서 미세 조정하는 방법에 주목했습니다. 하지만 기존의 미세 조정 기법들은 최종 결과만 사용하고, 미세 조정 과정에서 얻을 수 있는 중요한 정보를 무시하는 단점이 있었습니다.

미세 조정 궤적의 평균화: 새로운 돌파구

연구팀은 기존 미세 조정 궤적이 손실 함수 표면의 평평한 영역 주변에서 진동하는 경향이 있다는 점에 주목했습니다. 이를 해결하기 위해, 미세 조정 과정 전체의 평균을 구하여 생성된 적대적 예시(AE)를 손실 함수 표면의 보다 중심적인 영역으로 이동시키는 방법을 제안했습니다. 이는 마치 두 개의 머리가 각각 다른 방식으로 문제를 해결하고 그 결과를 평균하여 최적의 해결책을 찾는 것과 같습니다.

실험 결과: 압도적인 성능 향상

연구팀은 다양한 공격 시나리오에서 최첨단 표적 공격 기법들과 제안된 방법을 통합하여 비교 실험을 수행했습니다. 실험 결과는 제안된 방법이 표적 전이성을 크게 향상시킨다는 것을 명확하게 보여주었습니다. 이는 기존 방법들의 한계를 극복하고, 더욱 강력하고 효율적인 표적 공격 방어 시스템 개발에 중요한 발걸음이 될 것으로 예상됩니다. 더욱 놀라운 점은, 연구팀이 github.com/zengh5/Avg_FT 에서 코드를 공개하여 다른 연구자들이 이 방법을 활용하고 발전시킬 수 있도록 했습니다.

미래 전망: AI 보안의 새로운 지평

이 연구는 AI 보안 분야에 중요한 기여를 할 뿐만 아니라, 미세 조정 과정에서 얻을 수 있는 정보를 최대한 활용하는 새로운 접근법을 제시합니다. 이는 AI 모델의 안전성과 신뢰성을 높이는 데 크게 기여할 것으로 기대되며, 앞으로 AI 보안 기술 발전에 중요한 영향을 미칠 것으로 예상됩니다. 이러한 혁신적인 연구 결과는 AI 기술의 윤리적이고 안전한 사용을 위한 중요한 단계가 될 것입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Two Heads Are Better Than One: Averaging along Fine-Tuning to Improve Targeted Transferability

Published:  (Updated: )

Author: Hui Zeng, Sanshuai Cui, Biwei Chen, Anjie Peng

http://arxiv.org/abs/2412.20807v1