Nick Schrock cubre los principios y el origen de Dagster. Dagster es un nuevo tipo de motor de flujo de trabajo: un orquestador de datos. Más allá de solo gestionar el orden y la ejecución física de los cálculos de datos, Dagster considera todo el ciclo de vida de la aplicación de datos. Los practicantes en Dagster construyen gráficos de dependencia conscientes de los datos diseñados para el desarrollo y las pruebas locales; despliegan esos gráficos en un motor de orquestación nativo de la nube y multi-inquilino; y luego monitorean y observan los activos de datos producidos por esos cálculos.
En esta charla, Nick discute cómo Dagster se diferencia en las tres etapas (desarrollo y prueba, despliegue y ejecución, monitoreo y observación) del ciclo de vida de la aplicación. A través de una demostración y fragmentos de código, la charla muestra cómo la interfaz web Dagit y el modelo de programación de Dagster pueden potenciar a una variedad de practicantes de datos.
Video relacionado:
#datos #ingenieríadedatos #airflow #prefect #nativodelacloud #computaciónenlacloud #cloud #fundamentosdeingenieríadedatos
-------------------------
Acerca de Nick Schrock
Nick Schrock es el fundador y CEO de Elementl, la empresa detrás de Dagster. Anteriormente, Nick trabajó en Facebook, donde co-creó GraphQL. Nick cree profundamente en el poder de las herramientas de desarrollo bien diseñadas para hacer que los ingenieros sean más productivos, acelerar sus carreras, hacer sus vidas más agradables y transformar las organizaciones en las que trabajan.