Airflow bleibt eine beliebte Wahl, wenn es um Open-Source-Orchestrierungstools geht.
Als ich vor etwa einem Jahr eine Umfrage durchgeführt habe, war es die beliebteste Open-Source-Lösung, und bis heute führt mein Video "Sollten Sie Airflow verwenden" zu vielen Gesprächen mit Interessenten.
Ich möchte jedoch sagen, dass es viele Organisationen gibt, die Azure Data Factory und Informatica nutzen, und es gibt viele Wettbewerber, die an Airflows Tür klopfen.
Aber im Moment ist Airflow wie PHP in der Datenwelt; die Leute können schlecht darüber reden, aber es wird weiterhin stark genutzt.
Wie gesagt, Airflow ist oft der Grund, warum ich in viele Projekte eingebracht werde, was bedeutet, dass ich viele verschiedene Möglichkeiten gesehen habe, wie Teams Airflow bereitstellen.
Einige haben skaliert, andere nicht.
Deshalb wollte ich einen Moment nutzen, um einige Möglichkeiten zu besprechen, wie ich Airflow in der Vergangenheit bereitgestellt gesehen habe und welche Herausforderungen die Leute bei der Bereitstellung ihres Codes hatten.
Wenn Sie auch mehr über eine Alternative zu Airflow erfahren möchten, können Sie sich Mage.ai ansehen (
https://bit.ly/41h6Pjy)Dieses Video wird nicht von ihnen gesponsert, aber ich bin Berater für mage.ai
0:00 - Einführung
1:44 - Fehler #1: Den DAG-Ordner im selben Repository wie den Webserver ablegen
4:58 - Fehler #2: Nicht alle Funktionen von Airflow nutzen
8:43 - Fehler #3: Nicht an Skalierung denken
Suchen Sie nach einer Alternative zu Airflow, schauen Sie sich diesen Artikel an!
Wenn Ihnen dieses Video gefallen hat, schauen Sie sich einige meiner anderen Top-Videos an.
Top-Kurse, um 2022 Data Engineer zu werden
Was ist der moderne Daten-Stack - Einführung in die Dateninfrastruktur Teil 1
Wenn Sie mehr über Data Engineering erfahren möchten, schauen Sie sich Googles GCP-Zertifikat an
Wenn Sie über meine Updates im Bereich Daten informiert bleiben möchten, können Sie sich hier für unseren Newsletter anmelden.
Oder besuchen Sie meinen Blog
Und wenn Sie den Kanal unterstützen möchten, können Sie ein zahlendes Mitglied meines Newsletters werden
Tags: Data Engineering Projekte, Ideen für Data Engineer Projekte, Datenprojektquellen, Quellen für Datenanalyseprojekte, Datenprojektportfolio
_____________________________________________________________
_____________________________________________________________
Über mich:
Ich habe meine Karriere auf alle Formen von Daten konzentriert. Ich habe mich darauf spezialisiert, Algorithmen zu entwickeln, um Betrug zu erkennen, die Wiederaufnahmerate von Patienten zu senken und die Richtlinien von Versicherungsanbietern neu zu gestalten, um die Gesamtkosten im Gesundheitswesen zu reduzieren. Ich habe auch Analysen für Marketing und IT-Betrieb entwickelt, um begrenzte Ressourcen wie Mitarbeiter und Budget zu optimieren. Ich berate privat zu Problemen in der Datenwissenschaft und -technik, sowohl alleine als auch mit einem Unternehmen namens Acheron Analytics. Ich habe Erfahrung sowohl im praktischen Umgang mit technischen Problemen als auch darin, Führungsteams dabei zu helfen, Strategien zur Maximierung ihrer Daten zu entwickeln.
*Ich nehme an Affiliate-Programmen teil. Wenn ein Link ein "*" hat, kann ich einen kleinen Teil der Einnahmen ohne zusätzliche Kosten für Sie erhalten.