Desarrollo de Pipelines de Datos en Tiempo Real con Apache Kafka http://kafka.apache.org/ es una introducción para desarrolladores sobre por qué y cómo usar Apache Kafka. Apache Kafka es un sistema de mensajería de publicación-suscripción repensado como un registro de confirmación distribuido. Kafka está diseñado para permitir que un solo clúster sirva como la columna vertebral de datos central. Un solo broker de Kafka puede manejar cientos de megabytes de lecturas y escrituras por segundo de miles de clientes. Puede expandirse de manera elástica y transparente sin tiempo de inactividad. Los flujos de datos se particionan y se distribuyen en un clúster de máquinas para permitir flujos de datos más grandes que la capacidad de cualquier máquina individual y para permitir clústeres de consumidores coordinados. Los mensajes se persisten en disco y se replican dentro del clúster para prevenir la pérdida de datos. Cada broker puede manejar terabytes de mensajes. Para el usuario de Spring, Spring Integration Kafka y Spring XD proporcionan integración con Apache Kafka.
Desarrollo de Pipelines de Datos en Tiempo Real con Apache Kafka | Knoovi