Si vous avez dû construire des pipelines de données pour l'analyse, vous êtes probablement très familier avec la phase d'extraction d'un ELT ou d'un ETL.
Comme son nom l'indique, la phase d'extraction est celle où vous vous connectez à une source de données et "extrayez" des données de celle-ci. Les sources de données les plus courantes avec lesquelles vous interagirez sont les bases de données, les APIs et les serveurs de fichiers (via FTP ou SFTP).
Avec mon récent retour aux bases, il m'est venu à l'esprit que je n'avais jamais écrit sur les APIs et comment nous interagissons avec elles en tant qu'ingénieurs de données.
Maintenant, il y a beaucoup d'APIs qui m'ont causé beaucoup de tracas dans ma carrière et d'autres qui ont été un jeu d'enfant à gérer.
Mais tout dépend de la façon dont l'API est configurée et des choix de conception faits lors de sa création.
Si vous recherchez une solution prête à l'emploi pour gérer votre extraction de données API, vous pouvez consulter les deux ci-dessous :
Divulgation - J'ai un intérêt financier dans les deux
De plus, si vous souhaitez approfondir votre stratégie de données et votre infrastructure et que vous souhaitez me soutenir, vous pouvez envisager de devenir membre payant de mon Substack. J'ai plus de 100 articles qui couvrent tout, de l'ingénierie des données 101 à la direction d'équipes de données. Inscrivez-vous avec le lien ci-dessous et obtenez 30 % de réduction. -
https://seattledataguy.substack.com/148e9023Si vous souhaitez lire mes mises à jour sur le domaine des données, vous pouvez vous inscrire à notre newsletter ici.
Ou consultez mon blog
Et si vous voulez soutenir la chaîne, vous pouvez devenir membre payant de ma newsletter
Tags : Projets d'ingénierie des données, Idées de projets d'ingénieur de données, sources de projets de données, sources de projets d'analyse de données, portfolio de projets de données
_____________________________________________________________
_____________________________________________________________
À propos de moi :
J'ai passé ma carrière à me concentrer sur toutes les formes de données. Je me suis concentré sur le développement d'algorithmes pour détecter la fraude, réduire les réadmissions de patients et redessiner les politiques des fournisseurs d'assurance pour aider à réduire le coût global des soins de santé. J'ai également aidé à développer des analyses pour le marketing et les opérations informatiques afin d'optimiser les ressources limitées telles que les employés et le budget. Je consulte en privé sur des problèmes de science des données et d'ingénierie, à la fois en solo et avec une entreprise appelée Acheron Analytics. J'ai de l'expérience à la fois dans le travail pratique sur des problèmes techniques et dans l'aide aux équipes de direction pour développer des stratégies afin de maximiser leurs données.
*Je participe à des programmes d'affiliation, si un lien a un "*" à côté, alors je peux recevoir une petite portion des bénéfices sans coût supplémentaire pour vous.