54시간의 기록, AI는 나를 얼마나 알까? - ChatGPT와 일상생활 데이터 학습의 경계
Keegan Harris의 연구는 웨어러블 카메라와 GPT 모델을 이용하여 일상생활 영상 데이터 기반 AI 학습의 가능성과 한계를 탐구했습니다. GPT-4o는 착용자의 개인 정보를 상당 부분 정확히 추론했지만, 동시에 환각 현상으로 인한 오류도 발생했습니다. 이는 AI 기술 발전과 더불어 개인정보 보호 및 AI 신뢰성 확보에 대한 중요한 논의를 촉구합니다.

54시간의 기록, AI는 나를 얼마나 알까?
Keegan Harris의 최근 연구는 웨어러블 카메라(스마트 안경, AI 핀 등) 기술과 생성형 AI의 발전이 만나 탄생한 흥미로운 질문에 답하고 있습니다. 바로 'AI가 착용자의 일상생활 영상을 통해 얼마나 개인적인 정보를 학습할 수 있을까?' 하는 것이죠.
Harris는 54시간 동안 웨어러블 카메라를 착용하여 자신의 일상을 기록하고, 이를 다양한 길이(분, 시간, 일 단위)로 요약했습니다. 그리고 이 요약본을 이용하여 GPT-4o와 GPT-4o-mini 모델을 미세 조정(fine-tuning)하여 학습시켰습니다.
결과는 놀랍습니다. 두 모델 모두 착용자의 기본적인 정보(나이, 성별 등)를 학습하는 데 성공했습니다. 더 나아가 GPT-4o는 피츠버그 거주, CMU 박사과정 재학, 오른손잡이, 애완묘를 기르는 것까지 정확하게 추론했습니다. 마치 54시간의 영상을 통해 제 삶의 일부를 들여다본 듯한 결과입니다.
하지만 한계도 분명했습니다. 두 모델 모두 환각(hallucination) 현상을 보였습니다. 영상에 등장하는 사람들의 이름을 허구로 만들어내는 등, 정확하지 않은 정보를 생성한 것입니다. 이는 AI가 방대한 데이터를 학습하는 과정에서 발생하는 오류로, 개인 정보 보호 및 신뢰성 측면에서 심각한 문제를 제기합니다.
이 연구는 웨어러블 카메라와 생성형 AI의 결합을 통해 개인의 일상 데이터가 어떻게 활용될 수 있는지, 그리고 그 과정에서 발생할 수 있는 윤리적, 기술적 문제를 보여주는 중요한 사례입니다. AI의 발전 속도가 빨라짐에 따라 개인 정보 보호와 AI 모델의 신뢰성 확보를 위한 더욱 심도 깊은 연구와 논의가 필요하다는 것을 시사하고 있습니다.
결론적으로, AI는 놀라운 학습 능력을 가지고 있지만, 동시에 환각과 같은 한계를 가지고 있다는 점을 인지하고, 기술 발전과 윤리적 고려 사이의 균형을 찾는 것이 중요합니다. 54시간의 기록은 AI의 가능성과 함께, 우리가 풀어야 할 과제를 보여주는 상징적인 사례가 되었습니다.
Reference
[arxiv] Can ChatGPT Learn My Life From a Week of First-Person Video?
Published: (Updated: )
Author: Keegan Harris
http://arxiv.org/abs/2504.03857v1