Prototipo de un sistema de reconocimiento de voz integrando técnicas y herramientas de ia, enfocado al aprendizaje de la lengua de señas colombiana dirigido a niños de primera infancia

Abstract

Este trabajo presenta el desarrollo de un sistema de reconocimiento de voz para traducir palabras a la Lengua de Señas Colombiana (LSC) mediante videos, con el objetivo de apoyar el proceso de aprendizaje de la LSC en niños oyentes y sordos Para su desarrollo, se realizó una revisión literaria sobre reconocimiento de voz y modelos lingüísticos para la LSC, con la colaboración de docentes de primera infancia, se identificaron palabras clave relevantes para el aprendizaje infantil. Además, un integrante de la comunidad sorda y su intérprete participaron en la validación lingüística y en la grabación de videos, asegurando la autenticidad de las señas utilizadas. El sistema implementa reconocimiento de voz en tiempo real mediante la Web Speech API, procesando el texto resultante con spaCy para identificar palabras clave y mostrar sus equivalentes en LSC. Los videos se almacenan en una base de datos local, permitiendo la consulta inmediata, en caso de palabras no registradas, se permite a los usuarios realizar la sugerencia de estas. Durante la fase de validación, se realizaron pruebas con niños oyentes y sordos en un entorno educativo, evaluando la precisión del reconocimiento de voz y la efectividad del sistema para apoyar el proceso de aprendizaje, los resultados mostraron una alta aceptación y participación, se observó una mejor interacción entre ambas comunidades. Este desarrollo representa una contribución al campo de la tecnología educativa y la inclusión, sirviendo como base para futuras investigaciones que integren inteligencia artificial en la enseñanza de la lengua de señas.

This paper presents the development of a voice recognition system to translate words into The Colombian Sign Language (CSL) through videos, with the aim of supporting the learning process of CSL in hearing and deaf children. For its development, a literature review on speech recognition and linguistic models for LSC was carried out with the collaboration of early childhood teachers. As a result, relevant keywords for early childhood learning were identified. In addition, a member of the deaf community and his interpreter participated in the linguistic validation and video recording, ensuring the authenticity of the signs used. The system implements real-time voice recognition using the Web Speech API, processing the resulting texts with spacy to identify keywords and display their LSC equivalents. The videos are stored in a local database, permitting immediate consultation, in case of unregistered words, users are allowed to make suggestions about them. During the validation phase, tests were conducted with hearing and deaf children in an educational environment, evaluating the accuracy of voice recognition and the effectiveness of the system to support the learning process, the results showed a high acceptance and participation and a better interaction between both communities was observed as well. This development represents a contribution to the field of educational technology and inclusion, serving as a basis for future research that integrates artificial intelligence into sign language instruction.