Airflow reste un choix populaire en matière d'outils d'orchestration open-source.
Lorsque j'ai interrogé des personnes il y a environ un an, c'était la solution open-source la plus populaire, et encore aujourd'hui, ma vidéo sur "Devriez-vous utiliser Airflow" suscite de nombreuses conversations avec des prospects.
Maintenant, je tiens à dire qu'il y a beaucoup d'organisations utilisant Azure Data Factory et Informatica, et de nombreux concurrents frappent à la porte d'Airflow.
Mais pour l'instant, Airflow est comme le PHP du monde des données ; les gens peuvent en parler négativement, mais il continue d'être largement utilisé.
Comme je l'ai dit, Airflow est souvent la raison pour laquelle je suis impliqué dans de nombreux projets, ce qui signifie que j'ai vu de nombreuses façons différentes dont les équipes décident de déployer Airflow.
Certaines se sont développées, d'autres non.
Ainsi, je voulais prendre un moment pour discuter de certaines façons dont j'ai vu Airflow déployé dans le passé et des défis auxquels les gens ont été confrontés lors du déploiement de leur code.
De plus, si vous souhaitez en savoir plus sur une alternative à Airflow, vous pouvez consulter Mage.ai(
https://bit.ly/41h6Pjy)Cette vidéo n'est pas sponsorisée par eux, mais je suis conseiller pour mage.ai
0:00 - Introduction
1:44 - Erreur #1 Mettre le dossier DAG dans le même dépôt que le serveur web
4:58 - Erreur #2 Ne pas utiliser toutes les fonctionnalités qu'Airflow offre
8:43 - Erreur #3 Ne pas penser à l'échelle
Vous cherchez une alternative à Airflow, consultez cet article !
Si vous avez apprécié cette vidéo, consultez certaines de mes autres vidéos les plus populaires.
Meilleurs cours pour devenir ingénieur de données en 2022
Qu'est-ce que la pile de données moderne - Introduction à l'infrastructure des données Partie 1
Si vous souhaitez en savoir plus sur l'ingénierie des données, consultez le certificat GCP de Google
Si vous souhaitez lire mes mises à jour sur le domaine des données, vous pouvez vous inscrire à notre newsletter ici.
Ou consultez mon blog
Et si vous souhaitez soutenir la chaîne, vous pouvez devenir membre payant de ma newsletter
Tags : Projets d'ingénierie des données, idées de projets pour ingénieurs de données, sources de projets de données, sources de projets d'analyse de données, portfolio de projets de données
_____________________________________________________________
_____________________________________________________________
À propos de moi :
J'ai passé ma carrière à me concentrer sur toutes les formes de données. Je me suis concentré sur le développement d'algorithmes pour détecter la fraude, réduire les réadmissions de patients et redessiner les politiques des fournisseurs d'assurance afin d'aider à réduire le coût global des soins de santé. J'ai également aidé à développer des analyses pour le marketing et les opérations informatiques afin d'optimiser les ressources limitées telles que les employés et le budget. Je consulte en privé sur des problèmes de science et d'ingénierie des données, à la fois en solo et avec une entreprise appelée Acheron Analytics. J'ai de l'expérience à la fois dans le travail pratique sur des problèmes techniques et dans l'aide aux équipes de direction pour développer des stratégies visant à maximiser leurs données.
*Je participe à des programmes d'affiliation, si un lien a un "*" à côté, alors je peux recevoir une petite portion des bénéfices sans coût supplémentaire pour vous.