Metodología para despliegue de aplicaciones de machine learning y deep learning mediante contenedores dinámicos usando docker y kubernetes

Abstract

Podemos observar un gran incremento año tras año, durante la última década, del despliegue de aplicaciones de Machine Learning y Deep Learning. Destacando la complejidad que genera normalmente, se hace visible la necesidad de crear un despliegue que sea sencillo, seguro y eficiente. Utilizaremos tecnologías ya existentes como son Docker y Kubernetes, y estudiaremos las ventajas que proporciona su uso conjunto para el despliegue de aplicaciones de TensorFlow. TensorFlow es una librería de código abierto para el cálculo numérico y el aprendizaje automático a gran escala. Agrupa una gran cantidad de modelos y algoritmos de Machine Learning y Deep Learning, este último también conocido como redes neuronales. En este proyecto crearemos una metodología, empezando desde cero, que permita aplicar los conocimientos necesarios para el despliegue de modelos de redes neuronales a través de Docker y Kubernetes. La finalidad del proyecto es facilitar el despliegue de este tipo de aplicaciones, teniendo en cuenta que ahora podremos desplegarlas de forma más sencilla y segura. Evitaremos depender de la plataforma en la que se despliega, y podremos portarla cómodamente sin la necesidad de volver a la configuración. Haremos uso de dos aplicaciones de TensorFlow para poner a prueba la eficiencia de este tipo de despliegues, deducir cuáles serían los pasos que seguir hasta completar el despliegue, y realizar una comparativa de los resultados obtenidos al desplegar las aplicaciones usando Docker y Kubernetes frente a un despliegue típico cuando empleas TensorFlow únicamente. Obtendremos, a parte de las características positivas descritas anteriormente: una distribución eficiente del flujo de datos a través del balanceo de carga y tolerancia a fallos. Mejorando la distribución del conjunto de datos que procesan las redes neuronales conseguimos evitar fallos si alguno de los nodos o pods deja de funcionar correctamente, ofreciéndonos redundancia a nivel de aplicación; y conseguiremos una mejora de los tiempos de ejecución.