Nick Schrock é o CEO da Elementl. Esta é a sua sessão para a Conferência Open Source Data Stack 2021.
Bio
Nick é o fundador da Elementl. Antes da Elementl, ele foi Engenheiro Principal e Diretor no Facebook entre 2009-17, onde fundou a equipe de Infraestrutura de Produto e co-criou o GraphQL.
Orquestração: Dagster
Você já configurou todas as partes do seu data stack -- agora você precisa garantir que elas funcionem juntas. Como você garante que os trabalhos de ingestão upstream sejam concluídos a tempo para que suas transformações no warehouse sejam executadas? Como você integra ferramentas externas com os notebooks Python que constroem seus modelos de ML? O que acontece quando algo quebra e como você descobre? Vamos mostrar como um orquestrador permite que você controle as dependências entre suas ferramentas e fornece visibilidade em toda a sua plataforma de dados.
Sobre o Evento:
O surgimento do data stack moderno viu um aumento rápido no número de ferramentas de dados que uma organização pode usar para tomar decisões melhores. Cada ferramenta se tornou altamente especializada em sua parte do ciclo de vida dos dados, além de que ferramentas de código aberto são uma maneira poderosa para compradores de tecnologia reduzirem a exposição ao lock-in de fornecedores.
Controle o fluxo de dados do cliente de ponta a ponta:
Para garantir a auditabilidade dos dados
Para permitir a governança de dados
Para apoiar a privacidade dos dados dos consumidores
Para habilitar fluxos de trabalho produtivos de engenheiros
Ao assumir a propriedade e o controle sobre seu pipeline de dados através de código aberto, você pode reduzir a "superfície de confiança" para os dados dos seus clientes.
Estamos reunindo os blocos de construção do data stack de código aberto para demonstrar como as equipes podem construir um data stack que reflita suas necessidades.
Aprenda sobre o ciclo de vida do fluxo de dados, o pipeline do data stack moderno, como as ferramentas de código aberto se integram e por que as equipes de dados precisam de ajuda para mover e transformar dados de forma eficiente. Descubra informações valiosas sobre ETL, ELT, reverse-ETL e mais com 7 palestrantes que são apaixonados pelas soluções que engenheiros de dados, analistas de dados, cientistas de dados, gerentes de dados e profissionais de marketing precisam ao lidar com dados de clientes e sucesso do cliente.