Você já pensou que precisava ser um programador para fazer processamento de stream e construir pipelines de dados em streaming? Pense novamente! Apache Kafka é uma plataforma de streaming distribuída, escalável e tolerante a falhas, que fornece mensagens pub-sub de baixa latência, juntamente com armazenamento nativo e capacidades de processamento de stream. Integrar Kafka com RDBMS, NoSQL e armazenamentos de objetos é simples com o Kafka Connect, que faz parte do Apache Kafka. KSQL é o mecanismo de streaming SQL de código aberto para Apache Kafka, e torna possível construir aplicações de processamento de stream em escala, escritas usando uma interface SQL familiar.
Nesta palestra, explicaremos o raciocínio arquitetônico por trás do Apache Kafka e os benefícios da integração em tempo real, e construiremos um pipeline de dados em streaming usando apenas nossas próprias mãos, Kafka Connect e KSQL.
Admire-se enquanto filtramos eventos em tempo real! Fique impressionado com como podemos enriquecer streams de dados com dados de RDBMS! Fique atônito com o poder de agregados em streaming para detecção de anomalias!
Robin Moffatt
Da Confluent
Robin é um Developer Advocate na Confluent, a empresa fundada pelos criadores do Apache Kafka, além de ser um Oracle ACE Director e Developer Champion. Sua carreira sempre envolveu dados, desde os velhos mundos de COBOL e DB2, passando pelos mundos de Oracle e Hadoop, até o mundo atual com Kafka. Seus interesses particulares são análise, arquitetura de sistemas, testes de desempenho e otimização. Ele escreve em
http://cnfl.io/rmoff e
http://rmoff.net/ (e anteriormente
http://ritt.md/rmoff) e pode ser encontrado tweetando pensamentos de geek rabugento como @rmoff. Fora do trabalho, ele gosta de beber boas cervejas e comer cafés da manhã fritos, embora geralmente não ao mesmo tempo.