📬 Suscríbete a nuestro boletín para que no te pierdas las actualizaciones sobre la próxima Crunch Data Conference:
http://eepurl.com/dGwi1fPresentamos Dagster, una biblioteca de Python de código abierto para construir procesos ETL, pipelines de ML y sistemas de software similares, todos los cuales llamamos aplicaciones de datos.
Las aplicaciones de datos son grafos de cálculos funcionales que consumen y producen activos de datos. Dagster proporciona abstracciones y herramientas para modelar la semántica de estas aplicaciones al ofrecer un sistema de tipos unificado, un grafo de dependencias de datos, un sistema de configuración, una API estructurada para emitir eventos como pruebas de calidad de datos y materializaciones, y herramientas de desarrollo de alta calidad construidas sobre esas abstracciones. Los desarrolladores pueden usar las herramientas que conocen -- por ejemplo, trabajos de Spark para ingenieros de datos, sentencias SQL para analistas, Python para científicos de datos -- y la aplicación puede ser desplegada en motores de orquestación arbitrarios -- como Airflow, Dask o ejecución basada en Kubernetes -- de manera plugable. - Capturado en vivo en Ustream en
https://www.ustream.tv/channel/JUMjvCF2ucj