Enfoque big data utilizando kafka y spark streaming para el análisis en tiempo real
Archivos
Fecha
2019-06-25
Autores
Bernal Alba, Alián
Título de la revista
ISSN de la revista
Título del volumen
Editor
Universidad Central "Marta Abreu" de Las Villas, Facultad de Ingeniería Eléctrica, Departamento de Electrónica y Telecomunicaciones
Resumen
Big Data se ha convertido en todo un nuevo ámbito para el desarrollo de aplicaciones para el tratamiento de grandes volúmenes de datos.
Con el desarrollo de este proyecto de investigación se propone una herramienta Big Data para el tratamiento específico de datos de sensores de una plataforma ThingsBoard de Internet de las Cosas, la arquitectura se creó basada en la profundización del estudio de las tecnologías para un sistema Big Data en tiempo real, el estudio permitió la elección de las herramientas más adecuadas para la creación de la arquitectura.
En el desarrollo de la plataforma se instalaron y configuraron todas las tecnologías seleccionadas, y la evaluación del sistema se realizó mediante el desarrollo de una aplicación capaz de tomar los datos de la plataforma de Internet de las Cosas mediante la herramienta Kafka, procesarlos en Spark Streaming y almacenar el resultado del procesamiento en la base de datos Cassandra.
Descripción
Palabras clave
Big Data, Kafka, Spark Streaming, Cassandra, Tiempo Real