Dagster est un orchestrateur déclaratif basé sur les actifs qui redéfinit notre façon de penser la gestion des workflows. Dans cette vidéo, nous allons découvrir les fonctionnalités de Dagster, y compris les Actifs, les Ressources, les Jobs, les Horaires, les Partitions et plus encore. Nous allons le faire en créant un projet de bout en bout à partir de zéro en utilisant Dagster, l'outil de chargement de données (dlt) et Snowflake. Je suis super excité par celui-ci. J'espère que vous apprendrez quelque chose de nouveau !
Horodatages ⏰
0:00 - Introduction
1:45 - Conception du système
6:30 - Configuration de Dagster et de l'outil de chargement de données (dlt)
21:40 - Comment définir les Actifs
40:08 - Ressources, refactorisation du code
43:22 - Horaires et Jobs
48:42 - Remplissage des DAGs en utilisant des Partitions
54:39 - Capteurs et politique d'automatisation
1:09:31 - Réflexions finales
Qui suis-je ? 🙋🏻♂️
Je suis Jay, j'adore faire des vidéos sur les voyages, le développement personnel et la technologie. Je travaille actuellement à New York en tant qu'ingénieur de données, mais j'ai grandi en Malaisie et j'ai vécu au Royaume-Uni quand j'avais 19 ans. À l'époque, je n'avais aucune idée de ce qu'était la vie, en déménageant dans tant d'endroits, en naviguant dans une carrière dans la technologie. Aujourd'hui, j'ai beaucoup appris et je veux partager ma perspective à travers le cinéma.
Réseaux sociaux 📱
Nombre d'abonnés : 11 390