Optimización Bayesiana de hiperparámetros

Abstract

Las redes neuronales artificiales son el modelo computacional más utilizado en el área de inteligencia artificial en la actualidad. Estas redes intentan imitar las redes neuronales biológicas del cerebro humano. En estas redes artificiales existen una serie de configuraciones de parámetros ajustables que permiten controlar el proceso de entrenamiento, estos parámetros se llaman hiperparámetros. Este proyecto consiste en el estudio de la optimización de estos hiperparámetros. Los hiperparámetros que utilizan las redes neurona- les muchas veces tienen valores escogidos de manera aleatoria, o en algunos casos valores seleccionados de acuerdo a experiencias personales del desarrollador. Existen numerosos métodos para optimizar estos hiperparámetros, los criterios de elección entre estos diferentes métodos dependerá bastante de las prestaciones y el tiempo que predisponga el usuario. Por nuestra parte, se plantea que el proceso de optimización se realice mediante optimización Bayesiana, que consiste en crear un modelo probabilístico basado en el teorema de Bayes. Además, para poner a prueba y analizar bien los resultados de nuestra optimización, se entrenan diferentes modelos para solventar problemas de clasificación y de segmentación. Después del proceso de optimización, se realiza una tarea de análisis y comparación de los resultados con los de otros proyectos en los que se ve una mejoría significativa en algunos casos. En conclusión, la tarea de optimización de los hiperparámetros es totalmente necesaria. Incluso cuando el desarrollador no se puede permitir realizarlo por optimización bayesiana se puede decantar por otros métodos tradicionales que aunque sean menos efectivos son más asequibles.

Nowadays, neural networks are the most widely used method in state-of-the-art artificial intelligence. These networks aim to imitate the biological neural networks of the human brain. There are a series of adjustable configurations parameters that allow us to control the training process. These parameters are known as hyperparameters. This project focuses on optimizing these hyperparameters. The hyperparameters passed to the neural networks are chosen randomly or based on personal experience in some cases. There are several methods available to obtain the best configurations. The choice of these methods depends on factors such as available time, economic resources and mate- rial requirements. On our side, we propose the Bayesian optimization as the optimization process, which consists of creating a probabilistic model based on Bayes theorem. In addition, we have developed different models and experiments to solve classification and segmentation problems for testing and analyzing the results of our optimization. Significant improvements have been observed in some cases. In conclusion, the task of optimizing the hyperparameters is absolutely necessary, even if the user does not have the time or economic and material requirements to perform it by Bayesian optimization, it can be optimized using others traditional methods which, although less effective, are much faster.