Visualización de eventos de tráfico en Londres en tiempo real utilizando Clúster Hadoop y Spark Streaming

Abstract

Proyecto de tratamiento de datos utilizando como fuente de información principal un dataset perteneciente a Transport for London (TFL), el cual incluye información relacionada con incidencias de tráfico de Londres en tiempo real. Dicha información se tratará y se representará en un mapa. Además, se ha hecho una integración con la API de Twitter para buscar posibles Tweets relacionados con los incidentes que puedan servir como información adicional. El proyecto se divide en dos aplicaciones ejecutándose simultáneamente, una aplicación en Scala utilizando Spark Streaming para la adquisición, el tratado y el posterior envío de la información y, por otra parte, una aplicación REST utilizando el framework Spring Boot, encargada de recibir dicha información y mostrársela al usuario.

Data processing project using a Dataset belonging to Transport for London (TFL), which includes information related to London traffic incidents in real time. This information will be treated and represented on a map. In addition, an integration with the Twitter API has been made to look for possible Tweets related to the incidents that may serve as additional information. The project is divided into two applications running simultaneously, an application in Scala using Spark Streaming for the acquisition, the pre-processing and the subsequent sending of the information and, on the other hand, a REST application using the Spring Boot framework, responsible for receiving said information and show it to the user.