Desarrollo de un juego didáctico mediante sensores Leap Motion para estimular el aprendizaje del lenguaje básico de señas ecuatoriano

Abstract

En este proyecto de titulación se presenta el desarrollo de un juego didáctico para la enseñanza-aprendizaje del lenguaje básico de señas ecuatoriano, para personas con deficiencia auditiva sin descartar que el sistema puede ser utilizado por niños, jóvenes y adultos que tengan o no esta discapacidad y con interés en aprender el lenguaje básico de señas ecuatoriano. El dispositivo de entrada es un Leap Motion, que detecta las señales gestuales a través del reconocimiento de los huesos y articulaciones de cada dedo de la mano en el software Unity3D. Para el procesamiento de las señales gestuales se cuenta con un sistema de clasificación implementado en MatLab para los dos tipos de configuración de la señal: estática y dinámica; se usa correlación si la configuración es estática (sin movimiento) y el algoritmo DTW para configuraciones dinámicas (con movimiento). La comunicación entre Unity3D y MatLab es bidireccional para que los dos entornos puedan leer y escribir datos simultáneamente, en tiempo real utilizando memoria compartida. Esta aplicación desarrolla un uso didáctico con dos juegos, implementados en Unity3D para un solo jugador y multijugador. La interfaz del juego consta de un menú interactivo que permite seleccionar dos juegos los cuales son; fuga de letras que presenta una imagen y una palabra, el objetivo es completar las letras que faltan en la palabra y el juego tres en raya; es un juego por turnos, se debe poner una X o un O, intentando hacer una línea vertical, horizontal o diagonal.