Palestrante: Takanori Aoki, Cientista de Dados, HOOQ
Objetivo: O principal objetivo desta sessão é ajudar o público a se familiarizar com o desenvolvimento de aplicações de processamento de dados em stream usando Apache Kafka e Spark Structured Streaming, a fim de incentivá-los a começar a experimentar essas tecnologias. Descrição: Na era do Big Data, uma quantidade massiva de dados é gerada em alta velocidade por vários tipos de dispositivos. A tecnologia de processamento em stream desempenha um papel importante para que esses dados possam ser consumidos por aplicações em tempo real. Nesta palestra, Takanori apresentará como implementar um pipeline de dados em stream e sua aplicação usando Apache Kafka e Spark Structured Streaming com Python. Ele irá detalhar como desenvolver a aplicação em vez de explicar o design arquitetônico do sistema, para ajudar o público a se familiarizar com a implementação de processamento em stream usando Python. Takanori introduzirá exemplos de aplicação utilizando dados de Tweets e dados pseudo de dispositivos móveis. Além disso, ele também explicará como integrar dados em stream em outras tecnologias de armazenamento de dados, como Apache Cassandra e Elasticsearch. Nota: - Os códigos em Python para construir essas aplicações serão carregados no GitHub.
Sobre o palestrante:
Takanori Aoki trabalha como Cientista de Dados desenvolvendo soluções baseadas em dados para proporcionar uma melhor experiência ao cliente em serviços de streaming de vídeo sob demanda. Ele tem utilizado Python há 3 anos para realizar análise exploratória de dados, desenvolver pipelines ETL de produção e construir modelos de machine learning. Ele construiu funcionalidades de recomendação para filmes e programas de TV usando Python como sistema de produção. Ele se interessa não apenas por algoritmos de machine learning, mas também por engenharia de dados e engenharia de software, a fim de construir sistemas de produção robustos. Perfil do LinkedIn
https://sg.linkedin.com/in/takanori-aoki-7900a438Produzido por Engineers.SG