Se você já teve que construir pipelines de dados para análises, então provavelmente está muito familiarizado com a fase de extração de um ELT ou ETL.
Como o nome sugere, a fase de extração é quando você se conecta a uma fonte de dados e "extrai" dados dela. As fontes de dados mais comuns com as quais você interagirá são bancos de dados, APIs e servidores de arquivos (via FTP ou SFTP).
Com meu foco recente em voltar ao básico, percebi que nunca escrevi sobre APIs e como interagimos com elas como engenheiros de dados.
Agora, existem muitas APIs que me causaram muita dor de cabeça na minha carreira e outras que foram muito fáceis de lidar.
Mas tudo se resume a como a API está configurada e as escolhas de design feitas quando foi construída.
Se você está procurando uma solução pronta para lidar com a extração de dados da sua API, pode conferir as duas abaixo:
Divulgação - Tenho um interesse financeiro em ambas.
Além disso, se você gostaria de se aprofundar em estratégia de dados e infraestrutura e gostaria de me apoiar, pode considerar se tornar um membro pago do meu Substack. Tenho mais de 100 artigos que cobrem tudo, desde engenharia de dados 101 até liderança de equipes de dados. Inscreva-se com o link abaixo e ganhe 30% de desconto. -
https://seattledataguy.substack.com/148e9023Se você gostaria de ler minhas atualizações sobre o campo de dados, pode se inscrever em nossa newsletter aqui.
Ou confira meu blog
E se você quiser apoiar o canal, pode se tornar um membro pago da minha newsletter
Tags: Projetos de engenharia de dados, Ideias de projetos para engenheiros de dados, fontes de projetos de dados, fontes de projetos de análise de dados, portfólio de projetos de dados
_____________________________________________________________
_____________________________________________________________
Sobre mim:
Passei minha carreira focado em todas as formas de dados. Concentrei-me em desenvolver algoritmos para detectar fraudes, reduzir a readmissão de pacientes e redesenhar políticas de provedores de seguros para ajudar a reduzir o custo geral da saúde. Também ajudei a desenvolver análises para marketing e operações de TI a fim de otimizar recursos limitados, como funcionários e orçamento. Consulto privadamente sobre problemas de ciência e engenharia de dados, tanto individualmente quanto com uma empresa chamada Acheron Analytics. Tenho experiência tanto em trabalhar diretamente com problemas técnicos quanto em ajudar equipes de liderança a desenvolver estratégias para maximizar seus dados.
*Participo de programas de afiliados; se um link tiver um "*" ao lado, posso receber uma pequena parte dos lucros sem custo adicional para você.