Please use this identifier to cite or link to this item: http://hdl.handle.net/10553/55628
Title: Diseño e implementación de Clúster Spark y análisis de datos de tráfico mediante el uso de la librería Graphx
Other Titles: Spark cluster design and implementation, and analysis of traffic data using the GraphX libray
Authors: Gubern González, Santiago Miguel
Director: Sánchez Medina, Javier Jesús 
Ocón Carreras, Antonio Andrés 
UNESCO Clasification: 120317 Informática
Keywords: Hadoop
Spark
GraphX
Grafos
R, et al
Issue Date: 2019
Abstract: Diseño, configuración y evaluación de un clúster de Big Data basado en Apache Hadoop Yarn y Apache Spark para el procesamiento y análisis de datos de movilidad, y visualización de datos en R. Utilizando datos de movilidad de vehículos sonda proporcionados por el CICEI, han sido preprocesados en R para poder crear grafos a partir de ellos gracias a la librería GraphX de Apache Spark. Utilizando el lenguaje de programación Scala se crean los grafos, se calculan diferentes métricas de centralidad de manera distribuída, y se realiza un análisis de speed-up comparando diferentes configuraciones del clúster. Creando un script en R, se realiza el análisis de los tiempos de ejecución y la representación de las métricas en mapas geográficos.
Design, configuration and evaluation of a Big Data cluster based on Apache Hadoop Yarn and Apache Spark, for the processing and analysis of mobility data. Using a probe vehicles mobility dataset provided by CICEI, after some preprocessing in R, the corresponding graphs are loaded int the Spark cluster by using the Apache Spark GraphX library. Then some graph centrality measurements are calculated distributedly. Afterwards, a Speed-up analysis is developed comparing several cluster configurations. Finally, R is used to analyse the Speed-up and to do some data GIS visualization of the centrality measurements obtained.
Department: Departamento de Informática y Sistemas
Faculty: Escuela de Ingeniería Informática
Degree: Grado en Ingeniería Informática
URI: http://hdl.handle.net/10553/55628
Appears in Collections:Trabajo final de grado
Código
ZIP (1,04 MB)
Thumbnail
Adobe PDF (1,53 MB)

En el caso de que no encuentre el documento puede ser debido a que el centro o las/os autoras/es no autorizan su publicación. Si tiene verdadero interés en el contenido del mismo, puede dirigirse al director/a o directores/as del trabajo cuyos datos encontrará más arriba.

Show full item record

Page view(s)

236
checked on Jul 20, 2024

Download(s)

2,746
checked on Jul 20, 2024

Google ScholarTM

Check


Share



Export metadata



Items in accedaCRIS are protected by copyright, with all rights reserved, unless otherwise indicated.