Airflow sigue siendo una opción popular cuando se trata de herramientas de orquestación de código abierto.
Cuando encuesté a las personas hace aproximadamente un año, era la solución de código abierto más popular, y hasta el día de hoy, mi video sobre "¿Deberías usar Airflow?" genera muchas conversaciones con prospectos.
Ahora, quiero decir que hay muchas organizaciones que utilizan Azure Data Factory e Informatica, y hay muchos competidores llamando a la puerta de Airflow.
Pero por ahora, Airflow es como el PHP del mundo de los datos; la gente puede hablar mal de él, pero sigue siendo muy utilizado.
Como dije, Airflow es a menudo la razón por la que me traen a muchos proyectos, lo que significa que he visto muchas formas diferentes en que los equipos deciden implementar Airflow.
Algunos escalaron, otros no.
Por lo tanto, quería tomar un momento y discutir algunas formas en que he visto implementar Airflow en el pasado y los desafíos que enfrentaron las personas al desplegar su código.
Este video no está patrocinado por ellos, pero soy asesor de mage.ai
0:00 - Introducción
1:44 - Error #1 Poner la carpeta DAG en el mismo repositorio que el servidor web
4:58 - Error #2 No usar todas las funciones que ofrece Airflow
8:43 - Error #3 No pensar en la escalabilidad
¿Buscas una alternativa a Airflow? ¡Consulta este artículo!
Si disfrutaste este video, revisa algunos de mis otros videos destacados.
Cursos destacados para convertirte en ingeniero de datos en 2022
¿Qué es el stack de datos moderno? - Introducción a la infraestructura de datos Parte 1
Si deseas aprender más sobre ingeniería de datos, consulta el certificado de GCP de Google
Si quieres leer mis actualizaciones sobre el campo de los datos, puedes suscribirte a nuestro boletín aquí.
O consulta mi blog
Y si quieres apoyar el canal, puedes convertirte en miembro de pago de mi boletín
Etiquetas: Proyectos de ingeniería de datos, Ideas de proyectos para ingenieros de datos, fuentes de proyectos de datos, fuentes de proyectos de análisis de datos, portafolio de proyectos de datos
_____________________________________________________________
_____________________________________________________________
Sobre mí:
He pasado mi carrera enfocado en todas las formas de datos. Me he centrado en desarrollar algoritmos para detectar fraudes, reducir la readmisión de pacientes y rediseñar políticas de proveedores de seguros para ayudar a reducir el costo general de la atención médica. También he ayudado a desarrollar análisis para marketing y operaciones de TI con el fin de optimizar recursos limitados como empleados y presupuesto. Consulto de manera privada sobre problemas de ciencia e ingeniería de datos, tanto de forma individual como con una empresa llamada Acheron Analytics. Tengo experiencia tanto trabajando directamente con problemas técnicos como ayudando a equipos de liderazgo a desarrollar estrategias para maximizar sus datos.
*Participo en programas de afiliados; si un enlace tiene un "*" junto a él, entonces puedo recibir una pequeña parte de los ingresos sin costo adicional para ti.