Desarrollo de un juego didáctico mediante sensores Leap Motion para estimular el aprendizaje del lenguaje básico de señas ecuatoriano

Para citar o enlazar este item, por favor use el siguiente identificador: http://dspace.ups.edu.ec/handle/123456789/15289
Title: Desarrollo de un juego didáctico mediante sensores Leap Motion para estimular el aprendizaje del lenguaje básico de señas ecuatoriano
Authors: Parreño Alvarez, Mateo Alejandro
Advisor: Celi Sánchez, Carmen Johanna
Abstract: En este proyecto de titulación se presenta el desarrollo de un juego didáctico para la enseñanza-aprendizaje del lenguaje básico de señas ecuatoriano, para personas con deficiencia auditiva sin descartar que el sistema puede ser utilizado por niños, jóvenes y adultos que tengan o no esta discapacidad y con interés en aprender el lenguaje básico de señas ecuatoriano. El dispositivo de entrada es un Leap Motion, que detecta las señales gestuales a través del reconocimiento de los huesos y articulaciones de cada dedo de la mano en el software Unity3D. Para el procesamiento de las señales gestuales se cuenta con un sistema de clasificación implementado en MatLab para los dos tipos de configuración de la señal: estática y dinámica; se usa correlación si la configuración es estática (sin movimiento) y el algoritmo DTW para configuraciones dinámicas (con movimiento). La comunicación entre Unity3D y MatLab es bidireccional para que los dos entornos puedan leer y escribir datos simultáneamente, en tiempo real utilizando memoria compartida. Esta aplicación desarrolla un uso didáctico con dos juegos, implementados en Unity3D para un solo jugador y multijugador. La interfaz del juego consta de un menú interactivo que permite seleccionar dos juegos los cuales son; fuga de letras que presenta una imagen y una palabra, el objetivo es completar las letras que faltan en la palabra y el juego tres en raya; es un juego por turnos, se debe poner una X o un O, intentando hacer una línea vertical, horizontal o diagonal.
Translated abstract: In this project of degree the development of a didactic game for the teaching-learning of the basic language of Ecuadorian signs, for people with hearing impairment is presented without discarding that the system can be used by children, youth and adults that have or not this disability and with interest in learning the basic language of Ecuadorian signs. The input device is a Leap Motion, which detects the gestural signals through the recognition of the bones and joints of each finger in the Unity3D software. For the processing of gestural signals, there is a classification system implemented in MatLab for the two types of signal configuration: static and dynamic; Correlation is used if the configuration is static (without movement) and the DTW algorithm for dynamic configurations (with movement). The communication between Unity3D and MatLab is bidirectional so that both environments can read and write data simultaneously in real time using shared memory. This application develops a didactic use with two games, implemented in Unity3D for a single player and multiplayer. The interface of the game consists of an interactive menu that allows to select two games which are; flight of letters that presents an image and a word, the objective is to complete the missing letters in the word and the game three in a row; It is a turn-based game, you must put an X or an O, trying to make a vertical, horizontal or diagonal line.
Keywords: PROGRAMAS PARA COMPUTADOR
ENSEÑANZA PROGRAMADA
PROCESAMIENTO ELECTRÓNICO DE DATOS
LENGUAJE POR SEÑAS
Issue Date: Mar-2018
URI: http://dspace.ups.edu.ec/handle/123456789/15289
Language: spa
Appears in Collections:Grado

Files in This Item:
File Description SizeFormat 
UPS - ST003471.pdfTexto completo2.44 MBAdobe PDFView/Open


This item is licensed under a Creative Commons License Creative Commons