Nick Schrock ist der CEO von Elementl. Dies ist seine Session für die Open Source Data Stack Conference 2021.
Bio
Nick ist der Gründer von Elementl. Vor Elementl war er von 2009 bis 2017 Principal Engineer und Director bei Facebook, wo er das Product Infrastructure Team gründete und GraphQL mitentwickelte.
Orchestrierung: Dagster
Sie haben alle Teile Ihres Datenstacks eingerichtet – jetzt müssen Sie sicherstellen, dass sie zusammenarbeiten. Wie stellen Sie sicher, dass die upstream Ingest-Jobs rechtzeitig abgeschlossen werden, damit Ihre Warehouse-Transformationen ausgeführt werden können? Wie integrieren Sie externe Tools mit den Python-Notebooks, die Ihre ML-Modelle erstellen? Was passiert, wenn etwas kaputtgeht, und wie finden Sie das heraus? Wir zeigen Ihnen, wie ein Orchestrator Ihnen hilft, die Abhängigkeiten zwischen Ihren Tools zu bändigen und Ihnen Sichtbarkeit über Ihre gesamte Datenplattform zu geben.
Über die Veranstaltung:
Das Aufkommen des modernen Datenstacks hat zu einem rasanten Anstieg der Anzahl von Datentools geführt, die eine Organisation nutzen kann, um bessere Entscheidungen zu treffen. Jedes Tool ist hochspezialisiert auf seinen Teil des Datenlebenszyklus, und Open-Source-Tools sind eine leistungsstarke Möglichkeit für Technologieeinkäufer, die Abhängigkeit von Anbietern zu verringern.
Kontrollieren Sie den End-to-End-Fluss von Kundendaten:
Um die Datenprüfbarkeit zu gewährleisten
Um die Datenverwaltung zu ermöglichen
Um die Privatsphäre der Verbraucherdaten zu unterstützen
Um produktive Ingenieur-Workflows zu ermöglichen
Indem Sie das Eigentum und die Kontrolle über Ihre Datenpipeline durch Open Source übernehmen, können Sie die "Vertrauensoberfläche" für Ihre Kundendaten reduzieren.
Wir bringen die Bausteine des Open Source Datenstacks zusammen, um zu demonstrieren, wie Teams einen Datenstack aufbauen können, der ihren Bedürfnissen entspricht.
Erfahren Sie mehr über den Datenflusslebenszyklus, die Pipeline des modernen Datenstacks, wie Open-Source-Tools integriert werden und warum Datenteams Hilfe benötigen, um Daten effizient zu bewegen und zu transformieren. Entdecken Sie Schätze über ETL, ELT, Reverse-ETL und mehr mit 7 Sprechern, die leidenschaftlich über die Lösungen sind, die Dateningenieure, Datenanalysten, Datenwissenschaftler, Datenmanager und Vermarkter benötigen, wenn sie mit Kundendaten und Kundenerfolg umgehen.