면접관의 미래: AI는 채용의 게임 체인저가 될 수 있을까?

본 연구는 최신 LLM을 활용한 HR 면접 평가 시스템의 가능성과 한계를 분석했습니다. GPT-4 Turbo와 GPT-3.5 Turbo는 점수 매기기에는 능숙하지만, 오류 식별 및 개선 방안 제시에는 어려움을 보였습니다. 따라서 AI와 인간의 협업 시스템 구축이 중요한 과제로 제기됩니다.

최근 인공지능(AI) 분야의 혁신적인 발전은 채용 과정에도 큰 변화를 가져올 것으로 예상됩니다. 특히, 거대 언어 모델(LLM)의 등장은 HR(인사) 분야에 새로운 가능성을 열어주고 있습니다. Subhankar Maity, Aniket Deroy, Sudeshna Sarkar 세 연구원이 발표한 논문, "Towards Smarter Hiring: Are Zero-Shot and Few-Shot Pre-trained LLMs Ready for HR Spoken Interview Transcript Analysis?"는 이러한 기대와 현실의 간극을 명확하게 보여줍니다.

연구팀은 GPT-4 Turbo, GPT-3.5 Turbo 등 유명 LLM들을 실제 HR 면접 녹취록 3,890개를 대상으로 평가했습니다. 놀랍게도, GPT-4 Turbo와 GPT-3.5 Turbo는 인간 전문가와 비교해 면접 점수 매기기 능력에서 상당히 좋은 성과를 보였습니다. 마치 숙련된 면접관처럼 말이죠! 하지만 연구 결과는 여기서 멈추지 않습니다.

흥미로운 점은, LLM들이 면접 녹취록의 오류를 찾아내고 개선 방안을 제시하는 데는 어려움을 겪었다는 것입니다. 즉, 단순히 점수를 매기는 것 이상의 '정교한 피드백' 제공에는 아직 한계가 있다는 의미입니다. 단순히 점수만 높다고 좋은 면접관이 아니듯, AI 면접관 역시 정확한 평가와 구체적인 피드백이 중요합니다.

연구팀은 이러한 결과를 바탕으로, 현재 기술 수준의 LLM을 HR 면접 평가에 완전히 자동화하는 것은 시기상조라고 결론지었습니다. 대신, AI와 인간 전문가가 협력하는 'Human-in-the-loop' 방식을 제안합니다. AI는 1차 평가를 하고, 인간 전문가는 AI의 평가를 검토하고 보완하며, 보다 정확하고 유용한 피드백을 제공하는 방식입니다.

결론적으로, AI는 면접 과정을 혁신적으로 바꿀 잠재력을 가지고 있지만, 아직은 인간의 역할을 완전히 대체할 수는 없습니다. 앞으로 AI와 인간의 협력을 통해 보다 효율적이고 공정한 채용 시스템을 구축하는 것이 중요한 과제로 남아있습니다. AI 면접관 시대는 곧 도래하겠지만, 그 시대는 AI와 인간의 조화로운 협력 속에서 열릴 것입니다.