Referent: Takanori Aoki, Data Scientist, HOOQ
Ziel: Das Hauptziel dieser Sitzung ist es, das Publikum mit der Entwicklung von Stream-Datenverarbeitungsanwendungen mit Apache Kafka und Spark Structured Streaming vertraut zu machen, um sie zu ermutigen, mit diesen Technologien zu experimentieren. Beschreibung: Im Zeitalter von Big Data werden riesige Datenmengen in hoher Geschwindigkeit von verschiedenen Gerätetypen erzeugt. Die Stream-Verarbeitungstechnologie spielt eine wichtige Rolle, damit solche Daten von Echtzeitanwendungen konsumiert werden können. In diesem Vortrag wird Takanori präsentieren, wie man eine Stream-Datenpipeline und deren Anwendung mit Apache Kafka und Spark Structured Streaming in Python implementiert. Er wird sich darauf konzentrieren, wie man Anwendungen entwickelt, anstatt das Systemarchitekturdesign zu erklären, um dem Publikum zu helfen, mit der Implementierung der Stream-Verarbeitung in Python vertraut zu werden. Takanori wird Beispiele für Anwendungen mit Tweet-Daten und Pseudodaten von mobilen Geräten vorstellen. Darüber hinaus wird er auch erklären, wie man Streaming-Daten in andere Datenspeichertechnologien wie Apache Cassandra und Elasticsearch integriert. Hinweis: - Python-Codes zum Erstellen dieser Anwendungen werden auf GitHub hochgeladen.
Über den Referenten:
Takanori Aoki arbeitet als Data Scientist und entwickelt datengestützte Lösungen, um ein besseres Kundenerlebnis im On-Demand-Video-Streaming-Service zu bieten. Er verwendet seit 3 Jahren Python, um explorative Datenanalysen durchzuführen, Produktions-ETL-Pipelines zu entwickeln und Machine-Learning-Modelle zu erstellen. Er hat eine Empfehlungsfunktion für Filme und Fernsehsendungen mit Python als Produktionssystem entwickelt. Er interessiert sich nicht nur für Machine-Learning-Algorithmen, sondern auch für Data Engineering und Software Engineering, um robuste Produktionssysteme zu erstellen. LinkedIn-Profil
https://sg.linkedin.com/in/takanori-aoki-7900a438Produziert von Engineers.SG