Nick Schrock aborda os princípios e a origem do Dagster. O Dagster é um novo tipo de motor de fluxo de trabalho: um orquestrador de dados. Indo além de apenas gerenciar a ordem e a execução física das computações de dados, o Dagster considera todo o ciclo de vida da aplicação de dados. Profissionais que utilizam o Dagster constroem gráficos de dependência cientes dos dados, projetados para desenvolvimento e testes locais; implantam esses gráficos em um motor de orquestração nativo da nuvem e multi-inquilino; e então monitoram e observam os ativos de dados produzidos por essas computações.
Nesta palestra, Nick discute como o Dagster se diferencia nas três etapas (desenvolvimento e teste, implantação e execução, monitoramento e observação) do ciclo de vida da aplicação. Através de uma demonstração e trechos de código, a palestra mostra como a interface web Dagit e o modelo de programação do Dagster podem potencializar uma variedade de profissionais de dados.
Vídeo relacionado:
#dados #engenhariadedados #airflow #prefect #nativodanuvem #computacaonuvem #nuvem #fundamentosdaengenhariadedados
-------------------------
Sobre Nick Schrock
Nick Schrock é o fundador e CEO da Elementl, a empresa por trás do Dagster. Anteriormente, Nick trabalhou no Facebook, onde co-criou o GraphQL. Nick acredita profundamente no poder de ferramentas de desenvolvedor bem projetadas para tornar os engenheiros mais produtivos, acelerar suas carreiras, tornar suas vidas mais agradáveis e transformar as organizações nas quais trabalham.