Wenn Sie Datenpipelines für Analysen erstellen mussten, sind Sie wahrscheinlich sehr vertraut mit der Extraktionsphase eines ELT oder ETL.
Wie der Name schon sagt, ist die Extraktionsphase der Zeitpunkt, an dem Sie sich mit einer Datenquelle verbinden und Daten daraus "extrahieren". Die häufigsten Datenquellen, mit denen Sie interagieren werden, sind Datenbanken, APIs und Dateiserver (über FTP oder SFTP).
Mit meinem aktuellen Fokus auf die Grundlagen ist mir aufgefallen, dass ich noch nie über APIs und unsere Interaktion mit ihnen als Data Engineers geschrieben habe.
Es gibt viele APIs, die mir in meiner Karriere viel Kopfzerbrechen bereitet haben, und andere, die ein Kinderspiel waren.
Aber letztendlich hängt alles davon ab, wie die API eingerichtet ist und welche Designentscheidungen bei ihrer Erstellung getroffen wurden.
Wenn Sie nach einer sofort einsatzbereiten Lösung für Ihre API-Datenextraktion suchen, können Sie die beiden untenstehenden Optionen prüfen:
Offenlegung - Ich habe ein finanzielles Interesse an beiden.
Wenn Sie tiefer in Datenstrategie und Infrastruktur eintauchen möchten und mich unterstützen möchten, können Sie in Betracht ziehen, ein zahlendes Mitglied meines Substack zu werden. Ich habe über 100 Artikel, die alles von Data Engineering 101 bis hin zu Führung von Datenteams abdecken. Melden Sie sich über den Link unten an und erhalten Sie 30% Rabatt. -
https://seattledataguy.substack.com/148e9023Wenn Sie über meine Updates im Bereich Daten informiert bleiben möchten, können Sie sich hier für unseren Newsletter anmelden.
Oder besuchen Sie meinen Blog
Und wenn Sie den Kanal unterstützen möchten, können Sie ein zahlendes Mitglied meines Newsletters werden
Tags: Datenengineering-Projekte, Ideen für Data Engineer-Projekte, Datenprojektquellen, Quellen für Datenanalyseprojekte, Datenprojektportfolio
_____________________________________________________________
_____________________________________________________________
Über mich:
Ich habe meine Karriere auf alle Formen von Daten konzentriert. Ich habe mich darauf spezialisiert, Algorithmen zu entwickeln, um Betrug zu erkennen, die Wiederaufnahmerate von Patienten zu senken und die Richtlinien von Versicherungsanbietern neu zu gestalten, um die Gesamtkosten im Gesundheitswesen zu reduzieren. Ich habe auch Analysen für Marketing und IT-Betrieb entwickelt, um begrenzte Ressourcen wie Mitarbeiter und Budget zu optimieren. Ich berate privat zu Problemen der Datenwissenschaft und -technik, sowohl allein als auch mit einem Unternehmen namens Acheron Analytics. Ich habe Erfahrung sowohl im praktischen Umgang mit technischen Problemen als auch darin, Führungsteams dabei zu helfen, Strategien zur Maximierung ihrer Daten zu entwickeln.
*Ich nehme an Affiliate-Programmen teil. Wenn ein Link ein "*" hat, kann ich einen kleinen Teil der Einnahmen ohne zusätzliche Kosten für Sie erhalten.