Los pipelines de datos en streaming pueden fallar por diversas razones. Dado que los datos de origen, como los temas de Kafka, a menudo tienen una retención limitada, las fallas prolongadas de los trabajos pueden llevar a la pérdida de datos. Por lo tanto, los trabajos de streaming deben ser rellenables en todo momento para prevenir la pérdida de datos en caso de fallos.
Una solución es aumentar la retención del origen para que el relleno sea simplemente volver a reproducir los flujos de origen, pero extender la retención de Kafka es muy costoso para los tamaños de datos de Netflix. Otra solución es utilizar datos de origen almacenados en DWH, comúnmente conocido como la arquitectura Lambda. Sin embargo, este método introduce una duplicación significativa de código, ya que requiere que los ingenieros mantengan un trabajo por lotes equivalente separado.
En Netflix, hemos creado el Conector de Origen Iceberg para proporcionar capacidades de relleno a las aplicaciones de streaming de Flink. Permite a Flink transmitir datos almacenados en Apache Iceberg mientras refleja la semántica de ordenamiento de Kafka, lo que nos permite rellenar pipelines de Flink con estado a gran escala a bajo costo de retención.
Conéctate con nosotros: