Please use this identifier to cite or link to this item: http://hdl.handle.net/10553/55628
Title: Diseño e implementación de Clúster Spark y análisis de datos de tráfico mediante el uso de la librería Graphx
Other Titles: Spark cluster design and implementation, and analysis of traffic data using the GraphX libray
Authors: Gubern González, Santiago
Director: Sánchez Medina, Javier Jesús 
Ocón Carreras, Antonio Andrés 
UNESCO Clasification: 1203 Ciencia de los ordenadores
Keywords: Hadoop
Spark
GraphX
Grafos
R
Tesalonica
Big Data
Betweenness Centrality
Eigenvector Centrality
Page Rank
Speedup
Cluster
Issue Date: 2019
Abstract: Diseño, configuración y evaluación de un clúster de Big Data basado en Apache Hadoop Yarn y Apache Spark para el procesamiento y análisis de datos de movilidad, y visualización de datos en R. Utilizando datos de movilidad de vehículos sonda proporcionados por el CICEI, han sido preprocesados en R para poder crear grafos a partir de ellos gracias a la librería GraphX de Apache Spark. Utilizando el lenguaje de programación Scala se crean los grafos, se calculan diferentes métricas de centralidad de manera distribuída, y se realiza un análisis de speed-up comparando diferentes configuraciones del clúster. Creando un script en R, se realiza el análisis de los tiempos de ejecución y la representación de las métricas en mapas geográficos.
Design, configuration and evaluation of a Big Data cluster based on Apache Hadoop Yarn and Apache Spark, for the processing and analysis of mobility data. Using a probe vehicles mobility dataset provided by CICEI, after some preprocessing in R, the corresponding graphs are loaded int the Spark cluster by using the Apache Spark GraphX library. Then some graph centrality measurements are calculated distributedly. Afterwards, a Speed-up analysis is developed comparing several cluster configurations. Finally, R is used to analyse the Speed-up and to do some data GIS visualization of the centrality measurements obtained.
Faculty: Escuela de Ingeniería Informática
URI: http://hdl.handle.net/10553/55628
Appears in Collections:Trabajo final de grado
Código
ZIP (1,04 MB)
Thumbnail
Memoria
Adobe PDF (2,17 MB)
Show full item record

Page view(s)

13
checked on Jul 4, 2020

Download(s)

156
checked on Jul 4, 2020

Google ScholarTM

Check


Share



Export metadata



Items in accedaCRIS are protected by copyright, with all rights reserved, unless otherwise indicated.