O Airflow continua sendo uma escolha popular quando se trata de ferramentas de orquestração de código aberto.
Quando fiz uma pesquisa com as pessoas há cerca de um ano, ele era a solução de código aberto mais popular, e até hoje, meu vídeo sobre “Você Deve Usar o Airflow” gera muitas conversas com potenciais clientes.
Agora, quero dizer que há muitas organizações usando o Azure Data Factory e o Informatica, e há muitos concorrentes batendo à porta do Airflow.
Mas por enquanto, o Airflow é como o PHP do mundo dos dados; as pessoas podem falar mal dele, mas ele continua sendo amplamente utilizado.
Como eu disse, o Airflow é frequentemente a razão pela qual sou chamado para muitos projetos, o que significa que vi muitas maneiras diferentes que as equipes decidem implantar o Airflow.
Alguns escalaram, outros não.
Assim, eu queria aproveitar um momento para discutir algumas maneiras que vi o Airflow sendo implantado no passado e os desafios que as pessoas enfrentaram ao implantar seu código.
Além disso, se você gostaria de aprender sobre uma alternativa ao Airflow, pode conferir o Mage.ai(
https://bit.ly/41h6Pjy)Este vídeo não é patrocinado por eles, mas sou conselheiro da mage.ai
0:00 - Introdução
1:44 - Erro #1 Colocando a Pasta DAG no Mesmo Repositório que o Servidor Web
4:58 - Erro #2 Não Usar Todos os Recursos que o Airflow Oferece
8:43 - Erro #3 Não Pensar na Escala
Procurando uma alternativa ao Airflow, confira este artigo!
Se você gostou deste vídeo, confira alguns dos meus outros vídeos principais.
Principais Cursos para se Tornar um Engenheiro de Dados em 2022
O Que é a Pilha de Dados Moderna - Introdução à Infraestrutura de Dados Parte 1
Se você gostaria de aprender mais sobre engenharia de dados, então confira o certificado GCP do Google
Se você gostaria de ler minhas atualizações sobre o campo de dados, então pode se inscrever na nossa newsletter aqui.
Ou confira meu blog
E se você quiser apoiar o canal, então pode se tornar um membro pago da minha newsletter
Tags: Projetos de engenharia de dados, Ideias de projetos para engenheiros de dados, fontes de projetos de dados, fontes de projetos de análise de dados, portfólio de projetos de dados
_____________________________________________________________
_____________________________________________________________
Sobre mim:
Passei minha carreira focado em todas as formas de dados. Foquei no desenvolvimento de algoritmos para detectar fraudes, reduzir readmissões de pacientes e redesenhar políticas de provedores de seguros para ajudar a reduzir o custo geral da saúde. Também ajudei a desenvolver análises para marketing e operações de TI a fim de otimizar recursos limitados, como funcionários e orçamento. Consulto privadamente sobre problemas de ciência e engenharia de dados, tanto individualmente quanto com uma empresa chamada Acheron Analytics. Tenho experiência tanto em trabalhar diretamente com problemas técnicos quanto em ajudar equipes de liderança a desenvolver estratégias para maximizar seus dados.
*Participo de programas de afiliados, se um link tiver um "*" ao lado, então posso receber uma pequena parte dos lucros sem custo adicional para você.