La orquestación de datos es un componente clave para cualquier plataforma de procesamiento de datos por lotes y hemos estado utilizando patrones que no han cambiado desde la década de 1980. En esta charla, presentaré un nuevo patrón y forma de pensar para la orquestación de datos conocido como orquestación basada en activos, con sensores de frescura de datos para activar pipelines. En esta sesión, demostraremos este nuevo patrón utilizando herramientas populares de la pila de datos moderna: dbt, Airbyte, Dagster y Databricks.
Charla de: Sandy Ryza
Aquí hay más para explorar: