Le pipeline de données interne de Netflix traite des centaines de milliards de messages par jour et a récemment été mis à jour pour utiliser Apache Kafka afin de collecter des données de toutes leurs applications. Jonathan Bond (Ingénieur logiciel senior chez Netflix) expliquera les défis de la construction d'un pipeline capable de gérer un trillion de messages par jour, et comment les utilisateurs finaux peuvent le configurer pour acheminer les données vers les bonnes équipes au bon moment. La livraison des messages est essentielle pour un pipeline réussi ; Jonathan montrera comment le pipeline de Netflix est surveillé et comment les pannes sont gérées pour dépasser une disponibilité de quatre nines.
Bio
Jonathan Bond est Ingénieur logiciel senior chez Netflix où il utilise Apache Kafka pour mettre en œuvre des systèmes de pipeline de données et de messagerie. Avant Netflix, il était ingénieur chez IBM où il a travaillé sur le traitement des transactions, la messagerie, le bus de services d'entreprise, le traitement d'événements complexes et les règles métier.