📬 Inscreva-se na nossa newsletter para não perder as atualizações sobre a próxima Crunch Data Conference:
http://eepurl.com/dGwi1fApresentamos o Dagster, uma biblioteca Python de código aberto para construir processos ETL, pipelines de ML e sistemas de software semelhantes, todos os quais chamamos de aplicações de dados.
As aplicações de dados são grafos de computações funcionais que consomem e produzem ativos de dados. O Dagster fornece abstrações e ferramentas para modelar a semântica dessas aplicações, oferecendo um sistema de tipos unificado, um grafo de dependência de dados, um sistema de configuração, uma API estruturada para emitir eventos como testes de qualidade de dados e materializações, e ferramentas de desenvolvedor de alta qualidade construídas sobre essas abstrações. Os construtores podem usar as ferramentas que conhecem -- por exemplo, jobs Spark para engenheiros de dados, instruções SQL para analistas, Python para cientistas de dados -- e a aplicação pode ser implantada em motores de orquestração arbitrários -- como Airflow, Dask ou execução baseada em Kubernetes -- de forma plugável. - Capturado ao vivo no Ustream em
https://www.ustream.tv/channel/JUMjvCF2ucj