혁신적인 AI 지식 편집 기술, FLEKE: 여러 기관의 협업을 가능하게 하다

Zhao Zongkai 박사 연구팀이 개발한 FLEKE는 여러 기관이 협력하여 AI 지식을 효율적으로 업데이트하는 기술입니다. 프라이버시 보호와 계산 효율성을 동시에 달성하며, 기존 방식보다 월등한 성능을 보이는 것으로 실험 결과 확인되었습니다. 이 기술은 다양한 분야에서 AI 활용의 폭을 넓히는 데 크게 기여할 것으로 예상됩니다.

AI 지식의 효율적인 업데이트, FLEKE 등장

최근 대규모 언어 모델(LLM)의 발전과 함께, 이를 효율적으로 업데이트하는 기술이 중요해지고 있습니다. 기존의 Locate-then-Edit Knowledge Editing (LEKE)은 전체 모델을 다시 훈련하지 않고도 LLM을 업데이트하는 핵심 기술로 주목받았습니다. 하지만, 기존 LEKE는 단일 사용자 환경을 가정하여 여러 기관이 협업하는 실제 환경에서는 비효율적이었습니다. 병원, 금융기관 등 여러 기관이 중복되는 지식을 독립적으로 업데이트하면서 중복된 계산과 프라이버시 문제가 발생했기 때문입니다.

Zhao 박사 연구팀, FLEKE로 문제 해결에 도전

Zhao Zongkai 박사가 이끄는 연구팀은 이러한 문제를 해결하기 위해 연합 위치-편집 지식 편집(Federated Locate-then-Edit Knowledge Editing, FLEKE) 을 제안했습니다. FLEKE는 여러 기관이 프라이버시를 유지하면서 협업적으로 LEKE를 수행할 수 있도록 설계되었습니다. 핵심은 FedEdit이라는 새로운 두 단계 프레임워크입니다.

첫 번째 단계에서 각 기관은 LEKE를 독립적으로 적용하고 계산된 중개 지식 벡터(MKV)를 업로드합니다. 두 번째 단계가 흥미로운데, 기존 방식처럼 서버에 모든 MKV를 집중시키는 대신, 코사인 유사도를 기반으로 관련 MKV를 검색하여 재사용합니다. 이를 통해 불필요한 계산을 최소화하고 효율성을 극대화합니다.

놀라운 실험 결과: 성능과 효율성 모두 잡다

두 개의 벤치마크 데이터셋을 이용한 실험 결과는 놀라웠습니다. FedEdit은 비연합 LEKE의 성능을 96% 이상 유지하면서, 기존의 FedAvg 기반 방법보다 약 2배 향상된 성능을 보였습니다. 또한, MEMIT이 PMET보다 FLEKE 작업에서 더 일관된 성능을 보였다는 점도 확인했습니다. 연구팀은 FLEKE의 코드를 깃허브(https://github.com/zongkaiz/FLEKE)에 공개하여 다른 연구자들의 활용을 지원하고 있습니다.

미래를 위한 발걸음: AI 지식 편집의 새로운 지평

FLEKE는 단순한 기술적 발전을 넘어, 여러 기관의 협력을 통해 AI 지식을 효율적이고 안전하게 관리하는 새로운 가능성을 열었습니다. 이 연구는 AI 발전에 있어서 데이터 프라이버시와 효율성 사이의 균형을 맞추는 중요한 돌파구를 제시하며, 앞으로 더욱 발전된 AI 시스템 구축에 기여할 것으로 기대됩니다. 특히, 의료, 금융 등 민감한 정보를 다루는 분야에서 FLEKE의 활용 가능성은 매우 높다고 할 수 있습니다.