Nick Schrock est le PDG @ Elementl. Voici sa session pour la Conférence Open Source Data Stack 2021.
Bio
Nick est le fondateur d'Elementl. Avant Elementl, il était Ingénieur Principal et Directeur chez Facebook entre 2009 et 2017, où il a fondé l'équipe Product Infrastructure et co-créé GraphQL.
Orchestration : Dagster
Vous avez tous les éléments de votre data stack en place -- maintenant, vous devez vous assurer qu'ils fonctionnent ensemble. Comment vous assurez-vous que les tâches d'ingestion en amont se terminent à temps pour que vos transformations d'entrepôt s'exécutent ? Comment intégrez-vous des outils externes avec les notebooks Python qui construisent vos modèles ML ? Que se passe-t-il lorsque quelque chose casse, et comment le découvrez-vous ? Nous vous montrerons comment un orchestrateur vous permet de maîtriser les dépendances entre vos outils et vous donne une visibilité sur l'ensemble de votre plateforme de données.
À propos de l'événement :
L'émergence du data stack moderne a entraîné une augmentation rapide du nombre d'outils de données qu'une organisation peut utiliser pour améliorer la prise de décision. Chaque outil est devenu hautement spécialisé dans sa partie du cycle de vie des données, et les outils open source sont un moyen puissant pour les acheteurs de technologie de réduire leur exposition au verrouillage fournisseur.
Contrôlez le flux de données client de bout en bout :
Pour garantir l'auditabilité des données
Pour permettre la gouvernance des données
Pour soutenir la confidentialité des données des consommateurs
Pour permettre des flux de travail d'ingénierie productifs
En prenant possession et contrôle de votre pipeline de données grâce à l'open source, vous pouvez réduire la "surface de confiance" pour vos données clients.
Nous rassemblons les éléments constitutifs du data stack open source pour démontrer comment les équipes peuvent construire un data stack qui reflète leurs besoins.
Découvrez le cycle de vie du flux de données, le pipeline du data stack moderne, comment les outils open source s'intègrent et pourquoi les équipes de données ont besoin d'aide pour déplacer et transformer les données efficacement. Découvrez des pépites sur l'ETL, l'ELT, le reverse-ETL, et plus encore avec 7 intervenants passionnés par les solutions dont les ingénieurs de données, les analystes de données, les scientifiques des données, les gestionnaires de données et les marketeurs ont besoin lorsqu'ils traitent des données clients et du succès client.