Diseño e implementación de un Clúster Spark y análisis de datos de tráfico mediante el uso de la librería MLlib

Abstract

Desarrollo e implementacion de cluster de Big Data basado en Apache Hadoop Spark, sobre multicomputador (MIMD) proporcionado por el CICEI, cuyas máquinas tienen como Sistema Operativo Ubuntu, con énfasis en el estudio de la librería de Machine Learning Spark MLlib aplicada a la predicción del tráfico utilizando un dataset de la plataforma Madrid Open Data. Análisis de Speed-up utilizando diferentes configuraciones de cluster.

Apache Hadoop Spark Big Data cluster development, over multicomputer facility provided by CICEI, based on Ubuntu Operating System. The focus of the project is on the Spark Machine Learning library MLlib, applied to traffic prediction, by using the Madrid Open Dataset. Additionally, a Speed-up analysis is developed, comparing different cluster configurations.