Desarrollo de una plataforma para reconocimiento de gestos basada en Tensor Flow Lite sobre el dispositivo IoT Argon de Particle

Abstract

En los últimos años, el concepto de Internet of Things (IoT) ha adquirido una gran relevancia en la vida de miles de personas, ya sea de manera directa o indirecta. La razón principal es el trascendental cambio que propicia en la calidad de vida de las personas, gracias a los distintos métodos de acceso a datos o los novedosos servicios que ofrece. Además, el concepto de Inteligencia Artificial (IA) ha ido convergiendo en los últimos años con IoT, desarrollándose aplicaciones orientadas al uso de sensores, actuadores, interfaces o sistemas empotrados utilizando algoritmos o técnicas de IA con procesamiento “on the edge”. La base teórica del presente TFG viene dada, principalmente, por estos dos conceptos y su convergencia, lo que actualmente se conoce como Artificial Internet of Things (AIoT). Su desarrollo consiste en la implementación de una aplicación orientada a la detección de gestos, concretamente de letras del alfabeto dactilológico de la lengua española de signos, basada en el algoritmo de IA Tensor Flow Lite. Para ello se ha implementado un modelo inicial, así como su aplicación, para el reconocimiento de tres gestos y, a partir de éste, se ha desarrollado el modelo final que cumple con el objetivo principal de reconocer un conjunto de letras del alfabeto dactilológico.

In recent years, Internet of Things (IoT) concept has acquired great relevance in the lives of thousands of people, either directly or indirectly. The main reason is the transcendental change it brings about in people's quality of life, thanks to the different methods of accessing data or the innovative services it offers. In addition, the concept of Artificial Intelligence (AI) has been converging in recent years with IoT, developing applications oriented to the use of sensors, actuators, interfaces or embedded systems using AI algorithms or techniques with "on the edge" processing. The theoretical basis of this TFG is mainly given by these two concepts and their convergence, which is currently known as Artificial Internet of Things (AIoT). Its development consists of the implementation of an application oriented to the detection of gestures, specifically letters of the Spanish sign language dactylological alphabet, based on the AI algorithm Tensor Flow Lite. For this purpose, an initial model has been implemented, as well as its application, for the recognition of three gestures and, from this, the final model has been developed, which fulfills the main objective of recognizing a set of letters of the dactylological alphabet.