Integración de BitVoicer Server para el reconocimiento de comandos de voz en aplicaciones de IoT basadas en el dispositivo Photon

Abstract

El objetivo principal del presente Trabajo Fin de Grado (TFG) consiste en implementar una plataforma HW/SW (Hardware/Software) que, basándose principalmente en el uso de dispositivos IoT, permita a los usuarios interactuar con el medio que los rodea a partir del uso de comandos de voz mediante la integración de las herramientas BitVoicer/BitVoicer Server, de la empresa BitSophia, con el dispositivo IoT Photon, de la empresa Particle. El dispositivo Photon, que se observa en la Figura 1.2, combina un potente microcontrolador ARM Cortex M3 con un chip Wi‐Fi Broadcom y también alberga otras características destacables, como son su alimentación a 3.3VDC, 18 entradas/salidas de propósito general (GPIO), periféricos avanzados, y su diseño open source, lo que facilita su integración en un producto. [6]. Para satisfacer este objetivo general, será necesario desarrollar fundamentalmente las librerías que permitan implementar, tanto la interacción del dispositivo Photon con la herramienta BitVoicer Server, como la grabación de muestras de audio a partir de un micrófono conectado a la plataforma HW/SW, además de la reproducción en un altavoz del audio enviado como respuesta al comando de voz desde esta herramienta. Con este propósito, se plantean los siguientes objetivos parciales: • Estudio del principio de funcionamiento y características de IoT, así como la estructura de las aplicaciones en este ámbito. • Estudio de las necesidades no cubiertas en relación con los usuarios con algún tipo de deficiencia sensorial. • Aprendizaje y utilización de las herramientas software para la programación del dispositivo Photon. • Aprendizaje y utilización de los dispositivos integrados que conformarán el diseño final de la plataforma. • Estudio de las herramientas BitVoicer y BitVoicer Server para el reconocimiento de comandos de voz. • Desarrollo de librerías que permitan la interacción con BitVoicer y BitVoicer Server, de acuerdo con el protocolo de comunicación establecido.• Desarrollar el firmware que permita grabar un comando de voz, reproducirlo y, a partir de su procesamiento, mostrar su transcripción en formato de texto y obtener una respuesta ante dicho estímulo. [6]. • Verificación y validación completa del sistema.