Desenvolvendo Pipelines de Dados em Tempo Real com Apache Kafka http://kafka.apache.org/ é uma introdução para desenvolvedores sobre por que e como usar o Apache Kafka. O Apache Kafka é um sistema de mensagens de publicação-assinatura repensado como um log de commit distribuído. O Kafka é projetado para permitir que um único cluster sirva como a espinha dorsal central de dados. Um único broker Kafka pode lidar com centenas de megabytes de leituras e gravações por segundo de milhares de clientes. Ele pode ser expandido de forma elástica e transparente sem tempo de inatividade. Os fluxos de dados são particionados e distribuídos por um cluster de máquinas para permitir fluxos de dados maiores do que a capacidade de qualquer máquina única e para permitir clusters de consumidores coordenados. As mensagens são persistidas em disco e replicadas dentro do cluster para evitar perda de dados. Cada broker pode lidar com terabytes de mensagens. Para o usuário Spring, o Spring Integration Kafka e o Spring XD fornecem integração com o Apache Kafka.
Desenvolvendo Pipelines de Dados em Tempo Real com Apache Kafka | Knoovi