Identificador persistente para citar o vincular este elemento: http://hdl.handle.net/10553/55628
Título: Diseño e implementación de Clúster Spark y análisis de datos de tráfico mediante el uso de la librería Graphx
Otros títulos: Spark cluster design and implementation, and analysis of traffic data using the GraphX libray
Autores/as: Gubern González, Santiago Miguel
Director/a : Sánchez Medina, Javier Jesús 
Ocón Carreras, Antonio Andrés 
Clasificación UNESCO: 120317 Informática
Palabras clave: Hadoop
Spark
GraphX
Grafos
R, et al.
Fecha de publicación: 2019
Resumen: Diseño, configuración y evaluación de un clúster de Big Data basado en Apache Hadoop Yarn y Apache Spark para el procesamiento y análisis de datos de movilidad, y visualización de datos en R. Utilizando datos de movilidad de vehículos sonda proporcionados por el CICEI, han sido preprocesados en R para poder crear grafos a partir de ellos gracias a la librería GraphX de Apache Spark. Utilizando el lenguaje de programación Scala se crean los grafos, se calculan diferentes métricas de centralidad de manera distribuída, y se realiza un análisis de speed-up comparando diferentes configuraciones del clúster. Creando un script en R, se realiza el análisis de los tiempos de ejecución y la representación de las métricas en mapas geográficos.
Design, configuration and evaluation of a Big Data cluster based on Apache Hadoop Yarn and Apache Spark, for the processing and analysis of mobility data. Using a probe vehicles mobility dataset provided by CICEI, after some preprocessing in R, the corresponding graphs are loaded int the Spark cluster by using the Apache Spark GraphX library. Then some graph centrality measurements are calculated distributedly. Afterwards, a Speed-up analysis is developed comparing several cluster configurations. Finally, R is used to analyse the Speed-up and to do some data GIS visualization of the centrality measurements obtained.
Departamento: Departamento de Informática y Sistemas
Facultad: Escuela de Ingeniería Informática
Titulación: Grado en Ingeniería Informática
URI: http://hdl.handle.net/10553/55628
Colección:Trabajo final de grado
Código
ZIP (1,04 MB)
miniatura
Adobe PDF (1,53 MB)

En el caso de que no encuentre el documento puede ser debido a que el centro o las/os autoras/es no autorizan su publicación. Si tiene verdadero interés en el contenido del mismo, puede dirigirse al director/a o directores/as del trabajo cuyos datos encontrará más arriba.

Vista completa

Visitas

238
actualizado el 24-ago-2024

Descargas

2.764
actualizado el 24-ago-2024

Google ScholarTM

Verifica


Comparte



Exporta metadatos



Los elementos en ULPGC accedaCRIS están protegidos por derechos de autor con todos los derechos reservados, a menos que se indique lo contrario.