Pipelines de données en streaming
Concevoir, construire et exploiter des pipelines de données en temps réel et basés sur des événements : concepts fondamentaux (événements, sujets, partitions, groupes de consommateurs), messagerie vs streaming, cas d'utilisation courants, garanties de livraison et exactement une fois, évolutivité et compromis sur la latence. Couvre des plateformes et des outils tels qu'Apache Kafka et Pulsar (et des comparaisons avec RabbitMQ), CDC avec Debezium, traitement de flux avec Kafka Streams/Samza et SQL de streaming, et intégrations pour l'IoT/géospatial et l'indexation en temps réel.
Trier par :
24:16
Streaming Data Interview Questions by Sr Data Architect | Kafka + Spark Streaming + Project Scenerio
Prepare for your Data Engineering interview with the ultimate Streaming Data Interview Guide This video covers the most frequently asked Str...
DataBeli•6.7k vues•Il y a 2 mois
4:40:04
Projet de Streaming Spark de bout en bout | Databricks + Kafka + PostgreSQL + Tableau de bord en temps réel
Apprenez Spark Structured Streaming en construisant un projet complet d'ingénierie des données du monde réel à partir de zéro ! Dans ce tuto...
DataBeli•44.5k vues•Il y a 3 mois
4:26:16
Projet d'ingénierie de données de trafic en temps réel | Kafka + Spark + Delta Lake
J'ai construit un projet complet d'ingénierie de données de trafic en temps réel de bout en bout en utilisant Kafka, PySpark et Delta Lake,....
Data with Jay•7.3k vues•Il y a 6 mois
1:32:33
Tutoriel de traitement de flux PyFlink : Construire un pipeline en temps réel avec Kafka, Redpanda et Python
Dans cet atelier, Alexey Grigorev décompose les complexités de l'ingénierie des données en temps réel, passant des consommateurs Kafka basés...
DataTalksClub ⬛•7.9k vues•Il y a 7 mois
3:37:38
Projet d'ingénierie des données e-commerce en temps réel avec Kafka
🔥 Projet d'ingénierie des données e-commerce en temps réel utilisant Apache Kafka, Python et Snowflake 🔥 Dans cette vidéo, je construis un...
Data with Jay•11.2k vues•Il y a 8 mois
22:44
Diffuser des données en temps réel de Kafka vers PostgreSQL avec Apache NiFi
Dans ce tutoriel ETL Apache NiFi, vous apprendrez à lire des données en streaming depuis Apache Kafka et à les stocker dans une base de donn...
IOT Station•722 vues•Il y a 9 mois
18:35
Diffusion de données vers Databricks avec Lakeflow | Kafka, Kinesis, EventHub | Projet de bout en bout #1
🚀 Dans ce tutoriel pratique, nous lançons un projet complet de bout en bout sur Databricks pour un cas d'utilisation d'assurance automobile...
Thomas Hass•9.0k vues•Il y a 1 ans
35:46
Un guide complet pour le streaming sur la plateforme d'intelligence des données
Le traitement des flux est-il l'avenir ? Nous le pensons — et nous le construisons avec vous en utilisant les dernières capacités d'Apache S...
Databricks•2.9k vues•Il y a 1 ans
17:08
Pipeline de données en temps réel : Kafka vers Snowflake avec le connecteur Snowflake
Dans cette vidéo, je vous montre comment construire une pipeline de données en temps réel qui diffuse des événements d'Apache Kafka vers Sno...
MyDataEngineering•1.2k vues•Il y a 1 ans
5:48
🔥 Architecture de Données en Streaming : Construisez des Systèmes en Temps Réel avec Kafka et le Traitement de Flux
Plongez dans le monde de l'architecture de données en streaming et apprenez à construire des systèmes de traitement de données en temps réel...
CodeLucky•2.7k vues•Il y a 1 ans
18:33
Tutoriel Kafka pour débutants | Tout ce que vous devez savoir pour commencer
► Feuille de route DevOps étape par étape PDF : https://bit.ly/4jv2qDH Tutoriel Apache Kafka | Tout ce que vous devez savoir : Qu'est-ce que...
TechWorld with Nana•1.4M vues•Il y a 1 ans
15:24
Créer un pipeline de données en streaming avec Google Cloud Dataflow : Pub/Sub vers BigQuery
Créer un pipeline de données en streaming avec Google Cloud Dataflow : Pub/Sub vers BigQuery Dans cette vidéo, vous apprendrez à créer un pi...
TechTrapture•30.9k vues•Il y a 1 ans
52:39
Pipeline de données en temps réel avec Apache Kafka et AWS | AWS MSK | Projet pratique en ingénierie des données
Il s'agit d'un projet pratique complet en ingénierie des données sur AWS. Dans ce projet, nous avons démontré comment vous pouvez construire...
AWS Made Easy•23.4k vues•Il y a 1 ans
2:41:36
Maîtriser les pipelines de données en temps réel avec Kafka et Flink - Cours de 3 heures - DataExpert.io Boot Camp Gratuit
Rejoignez le boot camp gratuit ici : https://bootcamp.techcreator.io Rejoignez le discord pour obtenir de l'aide ici : https://discord.gg/dQ...
DataExpert•67.9k vues•Il y a 1 ans
4:55
Les fondamentaux d'Apache Kafka à connaître
Recevez un PDF gratuit sur la conception de systèmes de 158 pages en vous abonnant à notre newsletter hebdomadaire : https://bit.ly/bbg-soci...
ByteByteGo•436.4k vues•Il y a 1 ans
4:14
Le streaming vers Kafka est devenu plus facile avec les pipelines DLT
Delta Live Tables vous permet désormais d'écrire des données directement dans des sujets Apache Kafka, rendant la publication de données en....
Databricks•5.0k vues•Il y a 1 ans
Kafka vs RabbitMQ : La meilleure file de messages expliquée
❤️ Obtenez 40 % de réduction sur CodeCrafters : https://app.codecrafters.io/join?via=the-coding-gopher ⬆️ Meilleure plateforme de codage bas...
The Coding Gopher•65.1k vues•Il y a 1 ans
5:56
Principales cas d'utilisation de Kafka à connaître
Recevez un PDF gratuit sur la conception de systèmes de 158 pages en vous abonnant à notre newsletter hebdomadaire : https://bit.ly/bytebyte...
ByteByteGo•150.7k vues•Il y a 2 ans
41:32
Entretien en ingénierie des données - Pipeline de données Clickstream de Netflix
Rejoignez la liste d'attente pour le cours d'entretien en ingénierie des données d'Exponent : https://bit.ly/4cmpq34 Dans cette vidéo, un ex...
Aced (formerly Exponent)•74.1k vues•Il y a 2 ans
7:37
Snowflake Snowpipe | Snowpipe Streaming | Snowflake Connector pour Kafka | Exemples, Configuration, Démo
snowpipe dans snowflake snowpipe streaming snowflake snowpipe streaming snowpipe streaming api snowpipe s3 questions d'entretien snowpipe dé...
SleekData•11.3k vues•Il y a 2 ans
Apache Pulsar : Enfin une alternative à Kafka ?
Présenté par Julien Jakubowski lors de l'OSA Con 2023 Aujourd'hui, lorsque vous pensez à la création d'applications basées sur des événement...
The Open Source Analytics Community (OSA COM)•2.3k vues•Il y a 2 ans
1:25:00
Créer un pipeline de streaming de données en temps réel avec Apache Kafka, Flink et Postgres
🚀 Créer un pipeline de streaming de données en temps réel avec Apache Kafka, Flink et Postgres 🚀 Dans ce tutoriel complet, rejoignez-nous....
ByteCoach•41.5k vues•Il y a 2 ans
12:44
Python avec intégration Kafka Stream en tamoul
Python avec intégration Kafka Stream en tamoul Vidéo en anglais - https://youtu.be/WSPFZAv1ApY Code - https://github.com/sbgowtham/spark/wik...
Data Engineering•6.2k vues•Il y a 2 ans
1:27:48
Streaming de données en temps réel | Projet d'ingénierie des données de bout en bout
Dans cette vidéo, vous allez construire un pipeline de streaming de données en temps réel, couvrant chaque phase de l'ingestion des données....
CodeWithYu•348.4k vues•Il y a 3 ans
Découvrez la puissance de Streaming SQL avec ce tutoriel
Le Streaming SQL est devenu une partie essentielle des solutions efficaces de traitement de données en temps réel. Il permet aux organisatio...
Jenny Man•495 vues•Il y a 3 ans
16:14
Configurer Debezium, Apache Kafka et Postgres pour le Data Streaming en temps réel | ETL en temps réel | ETL
Dans cette vidéo, nous allons lancer la série sur le Data Streaming avec PySpark en utilisant Kafka. Nous avons couvert les bases de PySpark...
BI Insights Inc•42.6k vues•Il y a 3 ans
1:19:17
Developer Deskside | Création d'applications avec des données de streaming Kafka dans Palantir Foundry
Avez-vous déjà voulu créer un flux de travail de bout en bout dans Foundry et le connecter à votre propre application via des API ? Dans ce....
Palantir Developers•7.4k vues•Il y a 3 ans
10:25
Intégrer des données dans Databricks depuis Kafka
Essayez Databricks dès aujourd'hui : https://dbricks.co/3EAWLK6 La vidéo montre comment nous pouvons intégrer des clusters Databricks avec K...
Databricks•38.0k vues•Il y a 3 ans
1:04:00
📈 Analyse des données en temps réel du marché boursier avec Kafka | Projet de Data Engineering de bout en bout
➡️ Découvrez mon Bootcamp de Data Engineering : https://bit.ly/3yXsrcy UTILISEZ LE CODE : COMBO50 pour une réduction de 50% Dans cette vidéo...
Darshil Parmar•441.4k vues•Il y a 3 ans
25:44
Configurer un pipeline de données en streaming pour ingérer des données Kafka dans Snowflake avec un producteur Python depuis zéro
L'objectif de ce court tutoriel est de permettre au spectateur de se familiariser avec le connecteur Snowflake pour Kafka. La documentation....
Knowledge Amplifier•20.3k vues•Il y a 4 ans
34:14
Remplissage des pipelines de données en streaming dans l'architecture Kappa
Les pipelines de données en streaming peuvent échouer pour diverses raisons. Étant donné que les données sources, telles que les sujets Kafk...
Databricks•8.2k vues•Il y a 4 ans
33:22
Spark Kafka Cassandra | Projet de Streaming de A à Z {தமிழ்}
#SparkStreaming #Kafka #Cassandra | Projet de Streaming de A à Z Même vidéo en anglais - https://youtu.be/wNnTNTVdglM Vidéo d'installation d...
Data Engineering•11.0k vues•Il y a 4 ans
30:51
Spark Kafka Cassandra | Projet de Streaming de A à Z
#SparkStreaming #Kafka #Cassandra | Projet de Streaming de A à Z Vidéo d'installation de Spark - https://bit.ly/3uCMtV9 Vidéo d'installation...
Data Engineering•97.4k vues•Il y a 4 ans
3:01
Pipelines de données : Diffusion de données de Kafka vers des systèmes externes (Pratique)
https://cnfl.io/data-pipelines-exercise-6 | Cet exercice montre comment diffuser les données enrichies créées précédemment vers Elasticsearc...
Confluent, an IBM Company•3.5k vues•Il y a 4 ans
3:25
Pipelines de données : Diffusion de données de Kafka vers des systèmes externes
https://cnfl.io/data-pipelines-module-6 | Dans ce cours, vous découvrirez comment un sujet Apache Kafka® peut être diffusé vers un système e...
Confluent, an IBM Company•4.5k vues•Il y a 4 ans
7:20
Pipelines de données : Utiliser la capture de données modifiées (CDC) pour ingérer des données dans Kafka
https://cnfl.io/data-pipelines-module-3 | En utilisant la capture de données modifiées (CDC), vous pouvez diffuser des données d'une base de...
Confluent, an IBM Company•64.5k vues•Il y a 4 ans
9:37
Pipelines de données : Introduction aux pipelines de données en streaming
https://cnfl.io/data-pipelines-module1 | Dans ce cours, Tim Berglund (Directeur Senior de l'Expérience Développeur, Confluent) présente le c...
Confluent, an IBM Company•50.3k vues•Il y a 4 ans
FOSS4G 2021 - Diffusion de données de capteurs IoT avec LocationTech GeoMesa, Apache Kafka et NiFi
À mesure que les cas d'utilisation basés sur l'IoT augmentent, le besoin de créer des vues géospatiales en temps réel des données générées s...
FOSS4G•928 vues•Il y a 4 ans
La Pratique d'Apache Pulsar chez Bigo
Propulsés par la technologie de l'intelligence artificielle, les produits et services vidéo de BIGO ont gagné une immense popularité, avec d...
The ASF•208 vues•Il y a 5 ans
Mise à jour mensuelle de Pulsar de juillet : Exactly-Once avec Transactions
Bienvenue à la mise à jour mensuelle de Pulsar de juillet - Exactly-Once avec Transactions. La session couvre une mise à jour de projet Puls...
StreamNative•165 vues•Il y a 5 ans
Gunnar Morling — Pipelines de capture de données avec Debezium et Kafka Streams
En savoir plus sur les conférences Java : — au printemps — JPoint : https://jrg.su/gTrwHx — en automne — Joker : https://jrg.su/h7yvG4 — — ....
JPoint, Joker и JUG ru — Java-конференции•2.5k vues•Il y a 5 ans
Apache Pulsar, De Kafka et au-delà ! -- William McLane
#ApachePulsar #ApacheKafka #TIBCO #PulsarSummit Asie 2020 Apache Kafka est devenu une référence pour le traitement de flux open source, mais...
StreamNative•276 vues•Il y a 5 ans
28:43
Apache Kafka et ksqlDB en action : Construisons un pipeline de données en streaming !
Avez-vous déjà pensé qu'il fallait être programmeur pour faire du traitement de flux et construire des pipelines de données en streaming ? D...
Robin Moffatt•7.7k vues•Il y a 6 ans
4:28
IBM InfoSphere DataStage - Exemple de données en streaming avec Kafka
Exemple simple illustrant le streaming de données avec transformation des données dans le concepteur de flux DataStage utilisant le connecte...
IBM C Chan•5.1k vues•Il y a 6 ans
47:21
Comment construire un pipeline de données en streaming avec Apache Kafka et Spark Structured Streaming - PyCon SG 2019
Intervenant : Takanori Aoki, Data Scientist, HOOQ Objectif : Le principal objectif de cette session est d'aider le public à se familiariser....
PyCon SG•8.4k vues•Il y a 6 ans
2:22:11
Création de pipelines de streaming (Kafka et Spark Structured) avec Databricks
Dans le cadre de ce sujet, nous allons voir comment ingérer des données en temps réel en utilisant l'écosystème Kafka et les traiter avec Sp...
itversity•14.6k vues•Il y a 6 ans
29:57
Apache Kafka et KSQL en Action : Construisons un Pipeline de Données en Streaming ! par Robin Moffatt
Avez-vous déjà pensé qu'il fallait être programmeur pour faire du traitement de flux et construire des pipelines de données en streaming ? D...
Devoxx•50.2k vues•Il y a 7 ans
6:27
Démo de pipelines de données en streaming - Lire des données depuis un sujet Kafka en utilisant Spark Structured Streaming
Dans le cadre de ce sujet, développons la logique pour lire les données depuis un sujet Kafka en utilisant spark.readStream et afficher les....
itversity•9.2k vues•Il y a 7 ans