📬 Melden Sie sich für unseren Newsletter an, damit Sie keine Updates zur nächsten Crunch Data Conference verpassen:
http://eepurl.com/dGwi1fWir stellen Dagster vor, eine Open-Source-Python-Bibliothek zum Erstellen von ETL-Prozessen, ML-Pipelines und ähnlichen Softwaresystemen, die wir alle Datenanwendungen nennen.
Datenanwendungen sind Graphen funktionaler Berechnungen, die Datenressourcen konsumieren und produzieren. Dagster bietet Abstraktionen und Werkzeuge zur Modellierung der Semantik dieser Anwendungen, indem es ein einheitliches Typsystem, einen Datenabhängigkeitsgraphen, ein Konfigurationssystem, eine strukturierte API zum Ausgeben von Ereignissen wie Datenqualitätsprüfungen und Materialisierungen sowie hochwertige Entwicklerwerkzeuge, die auf diesen Abstraktionen basieren, bereitstellt. Entwickler können die Werkzeuge verwenden, die sie kennen – z.B. Spark-Jobs für Dateningenieure, SQL-Anweisungen für Analysten, Python für Datenwissenschaftler – und die Anwendung kann auf beliebigen Orchestrierungs-Engines – wie Airflow, Dask oder Kubernetes-basierter Ausführung – in einem steckbaren Format bereitgestellt werden. - Live aufgezeichnet auf Ustream unter
https://www.ustream.tv/channel/JUMjvCF2ucj