🙏 Rejoignez notre chaîne pour accéder à des avantages :
☕️ 𝗔𝗰𝗵𝗲𝘁𝗲𝘇-𝗺𝗼𝗶 𝘂𝗻 𝗰𝗼𝗳𝗳𝗲 :
Pour soutenir la chaîne et encourager de nouvelles vidéos, envisagez d'acheter un café ici :
Dans cette vidéo, nous allons plonger dans Dagster pour l'orchestration de tâches Python et l'ingénierie des données. Nous examinerons les concepts clés de Dagster, y compris les Assets, les Definitions, l'interface utilisateur de Dagster, les Schedules et les Jobs.
📌 𝗖𝗵𝗮𝗽𝘁𝗿𝗲𝘀 :
00:00 Introduction
01:11 Vue d'ensemble des pipelines de données & DAG
01:52 Installation de Dagster avec uv
03:41 Définition d'un Asset Dagster
05:10 Objet Definitions
07:59 Exemple concret avec Polars & DuckDB
08:58 Jeu de données automobile
09:41 Asset Dagster pour télécharger un fichier CSV
13:24 Chargement de données agrégées dans la base de données DuckDB
20:10 Planification des jobs dans Dagster
26:20 Capteurs dans Dagster
𝗦𝗼𝗰𝗶𝗮𝗹 𝗠𝗲𝗱𝗶𝗮 :
📚 𝗟𝗶𝘁𝗲́𝗿𝗮𝘁𝘂𝗿𝗲 𝗲𝘁 𝗶𝗻𝗳𝗼𝗿𝗺𝗮𝘁𝗶𝗼𝗻 𝗮𝗻𝗻𝗲𝘅𝗲 :
#dagster #dataengineering #python