A orquestração de dados é um componente central para qualquer plataforma de processamento de dados em lote e temos utilizado padrões que não mudaram desde a década de 1980. Nesta palestra, vou apresentar um novo padrão e uma nova forma de pensar sobre orquestração de dados conhecida como orquestração baseada em ativos, com sensores de frescor de dados para acionar pipelines. Nesta sessão, faremos uma demonstração desse novo padrão usando ferramentas populares da pilha de dados moderna - dbt, Airbyte, Dagster e Databricks.
Palestra por: Sandy Ryza
Aqui está mais para explorar: