Die interne Datenpipeline von Netflix verarbeitet täglich Hunderte von Milliarden Nachrichten und wurde kürzlich auf Apache Kafka umgestellt, um Daten aus allen ihren Anwendungen zu sammeln. Jonathan Bond (Senior Software Engineer bei Netflix) wird die Herausforderungen erläutern, eine Pipeline zu erstellen, die eine Billion Nachrichten pro Tag bewältigen kann, und wie Endbenutzer sie konfigurieren können, um die Daten zur richtigen Zeit an die richtigen Teams zu liefern. Die Zustellung von Nachrichten ist entscheidend für eine erfolgreiche Pipeline; Jonathan wird zeigen, wie die Netflix-Pipeline überwacht wird und wie mit Ausfällen umgegangen wird, um eine Verfügbarkeit von über vier Neunen zu gewährleisten.
Biografie
Jonathan Bond ist Senior Software Engineer bei Netflix, wo er Apache Kafka zur Implementierung von Datenpipelines und Messaging-Systemen einsetzt. Vor seiner Zeit bei Netflix war er Ingenieur bei IBM, wo er an Transaktionsverarbeitung, Messaging, Enterprise Service Bus, komplexer Ereignisverarbeitung und Geschäftsregeln arbeitete.