Ponente: Takanori Aoki, Científico de Datos, HOOQ
Objetivo: El propósito principal de esta sesión es ayudar a la audiencia a familiarizarse con el desarrollo de aplicaciones de procesamiento de datos en streaming utilizando Apache Kafka y Spark Structured Streaming, con el fin de animarles a comenzar a experimentar con estas tecnologías. Descripción: En la era del Big Data, se genera una gran cantidad de datos a alta velocidad por diversos tipos de dispositivos. La tecnología de procesamiento en streaming juega un papel importante para que dichos datos puedan ser consumidos por aplicaciones en tiempo real. En esta charla, Takanori presentará cómo implementar un pipeline de datos en streaming y su aplicación utilizando Apache Kafka y Spark Structured Streaming con Python. Se centrará en cómo desarrollar la aplicación en lugar de explicar el diseño arquitectónico del sistema, para ayudar a la audiencia a familiarizarse con la implementación del procesamiento en streaming mediante Python. Takanori introducirá ejemplos de aplicaciones utilizando datos de Tweets y datos pseudo de dispositivos móviles. Además, también explicará cómo integrar datos en streaming en otras tecnologías de almacenamiento de datos como Apache Cassandra y Elasticsearch. Nota: - Los códigos en Python para construir estas aplicaciones se subirán a GitHub.
Sobre el ponente:
Takanori Aoki trabaja como Científico de Datos desarrollando soluciones basadas en datos para proporcionar una mejor experiencia al cliente en el servicio de streaming de video bajo demanda. Ha estado utilizando Python durante 3 años para realizar análisis exploratorios de datos, desarrollar pipelines ETL de producción y construir modelos de aprendizaje automático. Construyó una funcionalidad de recomendación para películas y programas de televisión utilizando Python como sistema de producción. Está interesado no solo en algoritmos de aprendizaje automático, sino también en ingeniería de datos e ingeniería de software para construir sistemas de producción robustos. Perfil de LinkedIn
https://sg.linkedin.com/in/takanori-aoki-7900a438Producido por Engineers.SG