Intervenant : Takanori Aoki, Data Scientist, HOOQ
Objectif : Le principal objectif de cette session est d'aider le public à se familiariser avec le développement d'applications de traitement de données en streaming à l'aide d'Apache Kafka et de Spark Structured Streaming, afin de les encourager à commencer à expérimenter ces technologies. Description : À l'ère du Big Data, une quantité massive de données est générée à grande vitesse par divers types d'appareils. La technologie de traitement en streaming joue un rôle important pour que ces données puissent être consommées par des applications en temps réel. Dans cette présentation, Takanori expliquera comment mettre en œuvre un pipeline de données en streaming et son application en utilisant Apache Kafka et Spark Structured Streaming avec Python. Il se concentrera sur le développement d'applications plutôt que sur l'explication de la conception architecturale du système, afin d'aider le public à se familiariser avec la mise en œuvre du traitement en streaming avec Python. Takanori introduira des exemples d'applications utilisant des données de Tweet et des données pseudo de dispositifs mobiles. De plus, il expliquera également comment intégrer des données en streaming dans d'autres technologies de stockage de données telles qu'Apache Cassandra et Elasticsearch. Remarque : - Les codes Python pour construire ces applications seront téléchargés sur GitHub.
À propos de l'intervenant :
Takanori Aoki travaille en tant que Data Scientist, développant des solutions basées sur les données pour offrir une meilleure expérience client dans le service de streaming vidéo à la demande. Il utilise Python depuis 3 ans pour réaliser des analyses de données exploratoires, développer des pipelines ETL de production et construire des modèles d'apprentissage automatique. Il a construit une fonctionnalité de recommandation pour des films et des émissions de télévision en utilisant Python comme système de production. Il s'intéresse non seulement aux algorithmes d'apprentissage automatique, mais aussi à l'ingénierie des données et à l'ingénierie logicielle afin de construire un système de production robuste. Profil LinkedIn
https://sg.linkedin.com/in/takanori-aoki-7900a438Produit par Engineers.SG