엄청난 규모의 숏 비디오 데이터셋 등장! 1만 명 사용자, 15만 개 영상의 비밀

칭화대학교 연구팀이 1만 명의 사용자와 15만 개 이상의 영상 데이터를 포함한 대규모 숏 비디오 플랫폼 데이터셋을 공개했습니다. 4가지 기술적 검증을 거쳐 신뢰성을 확보했으며, 추천 알고리즘 벤치마킹, 필터 버블 현상 분석 등 다양한 연구에 활용될 것으로 기대됩니다.

숏 비디오 시대, 데이터의 힘! 새로운 연구의 지평을 열다

요즘 우리 일상에 깊숙이 들어온 숏 비디오 플랫폼. 수십억 명의 사용자들이 매일 엄청난 시간을 보내는 이 공간은, 인공지능과 사회과학 연구에 있어서 무궁무진한 가능성을 지닌 '보물 창고'와 같습니다. 하지만 기존 데이터셋은 사용자-영상 상호작용 데이터 부족, 사용자 속성 정보 제한, 영상 콘텐츠 정보의 부재 등의 심각한 문제점을 가지고 있었습니다.

그런데 최근, 칭화대학교 연구팀(Yu Shang, Chen Gao, Nian Li, Yong Li) 이 이러한 문제점들을 해결할 획기적인 연구 결과를 발표했습니다! 바로 대규모 숏 비디오 플랫폼 데이터셋입니다. 무려 1만 명의 자발적 참여자로부터 얻은 15만 3,561개의 영상 데이터와 사용자 행동, 속성 정보를 포함하고 있어, 기존 데이터셋의 한계를 뛰어넘는 규모와 질을 자랑합니다.

단순히 데이터만 제공하는 것이 아닙니다. 연구팀은 데이터셋의 신뢰성을 높이기 위해 4가지 기술적 검증을 실시했습니다.

1. 풍부한 행동 및 속성 데이터 검증: 사용자 데이터의 질과 다양성을 확인했습니다.
2. 콘텐츠 특징의 대표성 검증: 영상 콘텐츠 데이터의 대표성을 확인했습니다.
3. 추천 알고리즘 벤치마킹: 제공된 데이터셋을 활용하여 추천 알고리즘의 성능을 평가했습니다.
4. 필터 버블 현상 탐색: 플랫폼 내 필터 버블 현상을 분석했습니다.

이처럼 꼼꼼한 검증을 거친 데이터셋은 사용자 모델링, 사회과학 연구, 인간 행동 이해 등 다양한 분야의 연구에 활용될 수 있습니다. 연구팀은 데이터셋과 코드를 GitHub (https://github.com/tsinghua-fib-lab/ShortVideo_dataset) 에 공개하여, 전 세계 연구자들의 참여와 협력을 독려하고 있습니다. 이 데이터셋을 통해 숏 비디오 플랫폼의 비밀을 밝히고, 더 나은 플랫폼 및 서비스 개발에 기여할 수 있기를 기대합니다.

결론적으로, 이 연구는 단순한 데이터셋 제공을 넘어, 엄격한 검증과 다양한 활용 가능성 제시를 통해 숏 비디오 연구 분야에 새로운 이정표를 세웠다고 평가할 수 있습니다.