Si has tenido que construir tuberías de datos para análisis, es probable que estés muy familiarizado con la fase de extracción de un ELT o ETL.
Como su nombre indica, la fase de extracción es cuando te conectas a una fuente de datos y "extraes" datos de ella. Las fuentes de datos más comunes con las que interactuarás son bases de datos, APIs y servidores de archivos (a través de FTP o SFTP).
Con mi reciente enfoque en volver a lo básico, se me ocurrió que nunca había escrito sobre APIs y cómo interactuamos con ellas como ingenieros de datos.
Ahora, hay muchas APIs que me han causado muchos dolores de cabeza en mi carrera y hay otras que han sido pan comido para manejar.
Pero todo se reduce a cómo está configurada la API y las decisiones de diseño que se tomaron al construirla.
Si estás buscando una solución lista para usar para manejar la extracción de datos de tu API, puedes consultar las dos a continuación:
Divulgación: tengo un interés financiero en ambas.
Además, si deseas profundizar en estrategia de datos e infraestructura y te gustaría apoyarme, puedes considerar convertirte en miembro de pago de mi Substack. Tengo más de 100 artículos que cubren todo, desde ingeniería de datos 101 hasta liderazgo de equipos de datos. Regístrate con el enlace a continuación y obtén un 30% de descuento. -
https://seattledataguy.substack.com/148e9023Si deseas leer mis actualizaciones sobre el campo de los datos, puedes suscribirte a nuestro boletín aquí.
O consulta mi blog
Y si quieres apoyar el canal, puedes convertirte en miembro de pago de mi boletín
Etiquetas: Proyectos de ingeniería de datos, Ideas de proyectos para ingenieros de datos, Fuentes de proyectos de datos, Fuentes de proyectos de análisis de datos, Portafolio de proyectos de datos
_____________________________________________________________
_____________________________________________________________
Sobre mí:
He pasado mi carrera enfocado en todas las formas de datos. Me he centrado en desarrollar algoritmos para detectar fraudes, reducir la readmisión de pacientes y rediseñar políticas de proveedores de seguros para ayudar a reducir el costo general de la atención médica. También he ayudado a desarrollar análisis para marketing y operaciones de TI con el fin de optimizar recursos limitados como empleados y presupuesto. Consulto de manera privada sobre problemas de ciencia e ingeniería de datos, tanto de forma individual como con una empresa llamada Acheron Analytics. Tengo experiencia tanto trabajando directamente con problemas técnicos como ayudando a equipos de liderazgo a desarrollar estrategias para maximizar sus datos.
*Participo en programas de afiliados; si un enlace tiene un "*" junto a él, entonces puedo recibir una pequeña parte de los ingresos sin costo adicional para ti.