Sistema de visión artificial para la interpretación de lenguaje de señas como interfaz de control en asistentes virtuales
Para citar o enlazar este item, por favor use el siguiente identificador:
http://dspace.ups.edu.ec/handle/123456789/30964| Título : | Sistema de visión artificial para la interpretación de lenguaje de señas como interfaz de control en asistentes virtuales |
| Autor : | Arias Santillán, Tania Jessenia |
| Director de Tesis: | Romero Mejía, Luis Geovanny |
| Resumen traducido: | People with hearing impairments face technological exclusion when interacting with virtual assistants, as most of them respond only to voice commands. To improve accessibility and autonomy for this group of people, a computer vision system was developed that interprets sign language in real time to control smart devices using the Alexa virtual assistant. More than 9,500 images of 9 signs were captured and used to train an artificial intelligence model based on MobileNetV2, achieving an accuracy greater than 99 %. The system recognizes commands consisting of 2 sequential signs, detected by a Python interface, and includes a calibration stage to correctly position the user in front of the camera. Integration with Alexa was carried out using Voice Monkey and IFTTT to control smart devices through Python scripts that send HTTP requests. The system offers response times under 2 seconds and obtained an average rating of 4.6/5 in user experience. |
| Resumen : | Las personas con discapacidad auditiva enfrentan exclusión tecnológica al interactuar con asistentes virtuales, ya que la mayoría de ellos responden ´únicamente a comandos de voz. Para mejorar la accesibilidad y autonomía de este grupo de personas, se desarrolló un sistema de visión artificial que interpreta el lenguaje de señas en tiempo real para controlar dispositivos inteligentes mediante el asistente virtual Alexa. Se capturaron más de 9,500 imágenes de 9 señas, que fueron utilizadas para entrenar un modelo de inteligencia artificial basada en MobileNetV2, logrando una precisión mayor al 99 %. El sistema reconoce comandos formados por 2 señas secuenciales, detectadas por una interfaz en Python, e incluye una etapa de calibración para posicionar correctamente al usuario frente a la cámara. La integración con Alexa se realizó usando Voice Monkey e IFTTT para controlar dispositivos inteligentes a través de scripts de Python que envían solicitudes HTTP. El sistema ofrece tiempos de respuesta menores a 2 segundos y obtuvo una calificación promedio de 4.6/5 en experiencia de usuario. |
| Palabras clave : | BIOMEDICINA VISIÓN POR COMPUTADORA LENGUAJE DE SEÑAS DISPOSITIVOS INTELIGENTES |
| Fecha de publicación : | 2025 |
| URI : | http://dspace.ups.edu.ec/handle/123456789/30964 |
| Idioma: | spa |
| Pertenece a las colecciones: | Grado |
Ficheros en este ítem:
| Fichero | Descripción | Tamaño | Formato | |
|---|---|---|---|---|
| TTQ2332.pdf | Texto completo | 1,5 MB | Adobe PDF | Visualizar/Abrir |
Este ítem está sujeto a una licencia Creative Commons Licencia Creative Commons
