WebNav: 음성 제어 웹 네비게이션 에이전트의 혁신


WebNav는 ReAct 아키텍처와 생성형 AI를 활용한 음성 제어 웹 네비게이션 에이전트로, 시각 장애인의 웹 접근성을 크게 향상시키는 혁신적인 기술입니다. 실시간 동적 라벨링 엔진을 통해 음성 명령어와 DOM 구성 요소 간 매핑을 효율적으로 수행하며, 기존 스크린 리더보다 우수한 성능을 보여줍니다. 향후 연구를 통해 더욱 발전된 WebNav를 기대해 볼 수 있습니다.

related iamge

웹 접근성의 새 지평을 열다: WebNav

웹 인터페이스 의존도 증가는 시각 장애인들에게 많은 어려움을 안겨주었습니다. 이러한 문제를 해결하기 위해 등장한 혁신적인 기술이 바로 WebNav입니다. Trisanth Srinivasan과 Santosh Patapati가 개발한 WebNav는 음성으로 웹을 제어하는 지능형 에이전트로, ReAct 아키텍처와 생성형 AI의 강력한 조합을 통해 시각 장애인의 웹 접근성을 획기적으로 향상시킵니다.

WebNav는 계층적 구조를 가지고 있습니다. DIGNAV (Digital Navigation Module) 는 고차원 전략적 계획을 담당하고, Assistant Module은 추상적인 명령어를 실행 가능한 동작으로 변환하며, Inference Module은 저차원 상호작용을 처리합니다. 핵심은 바로 실시간 동적 라벨링 엔진입니다. 브라우저 확장 프로그램으로 구현된 이 엔진은 상호 작용 요소에 대한 실시간 라벨을 생성하여 음성 명령어와 DOM(Document Object Model) 구성 요소 간의 매핑을 효율적으로 구축합니다. 이는 마치 웹 페이지에 보이지 않는 ‘번역기’와 ‘길잡이’를 심어놓은 것과 같습니다.

초기 평가 결과, WebNav는 기존 스크린 리더보다 응답 시간과 작업 완료 정확도 면에서 시각 장애인에게 훨씬 나은 성능을 제공하는 것으로 나타났습니다. 이는 단순한 기술적 향상을 넘어, 시각 장애인들의 디지털 세상 접근성을 실질적으로 높이는 쾌거라 할 수 있습니다.

하지만 연구는 여기서 끝나지 않습니다. 향후 연구는 광범위한 사용자 평가, 벤치마크 개발, 그리고 실제 환경 배포를 위한 에이전트의 적응력 향상에 초점을 맞출 것입니다. WebNav는 단순한 기술이 아닌, 포용적인 디지털 사회를 향한 중요한 발걸음입니다. 앞으로 WebNav가 더욱 발전하여 더 많은 사람들에게 편리하고 혁신적인 웹 경험을 제공해주기를 기대합니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] WebNav: An Intelligent Agent for Voice-Controlled Web Navigation

Published:  (Updated: )

Author: Trisanth Srinivasan, Santosh Patapati

http://arxiv.org/abs/2503.13843v1