Erstellen Sie ein Konto, um KI zu nutzen

Erstellen Sie ein kostenloses Konto, um alle Funktionen freizuschalten:

Stellen Sie Fragen zu Videos mit KI
Nutzen Sie die intelligente Suche (KI)
Speichern Sie Ihre Lieblingsvideos
Markieren Sie Ihre Lieblingskategorien
Organisieren Sie Ihre Lieblingsunterkategorien
Greifen Sie auf Ihre personalisierte Favoritenseite zu
Greifen Sie auf Ihren Gesprächsverlauf zu
Personalisieren Sie Ihre Startseite mit Ihren Favoriten

Haben Sie bereits ein Konto? Anmelden

Echtzeit-Datenstreaming | End-to-End-Datenengineering-Projekt

Name: Echtzeit-Datenstreaming | End-to-End-Datenengineering-Projekt
Uploaded: 2023-09-06T09:28:13+00:00
Duration: 1 h 27 min 48 s

CodeWithYu

In diesem Video werden Sie eine Echtzeit-Datenstreaming-Pipeline aufbauen, die jede Phase von der Datenaufnahme über die Verarbeitung bis hin zur Speicherung abdeckt. Wir nutzen einen leistungsstarken Stack aus Tools und Technologien, darunter Apache Airflow, Python, Apache Kafka, Apache Zookeeper, Apache Spark und Cassandra – alles ordentlich in Containern mit Docker verpackt.

MEHR KOSTENLOSE KURSE: https://datamasterylab.com

📚 Was Sie lernen werden:

👉 Einrichtung einer Datenpipeline mit Apache Airflow

👉 Streaming von Daten mit Kafka und Kafka Connect

👉 Verwendung von Zookeeper für verteilte Synchronisation

👉 Datenverarbeitung mit Apache Spark

👉 Datenspeicherlösungen mit Cassandra und PostgreSQL

👉 Containerisierung Ihrer Datenengineering-Umgebung mit Docker

✨ Zeitstempel: ✨

0:00 Einführung

0:53 Systemarchitektur

3:47 Daten von API mit Airflow abrufen

17:10 Docker Compose für die Architektur

26:09 Streaming von Daten in Kafka

44:29 Einrichtung von Apache Spark und Cassandra

49:33 Streaming von Daten in Cassandra

1:27:05 Outro

👦🏻 Mein Linkedin: https://www.linkedin.com/in/yusuf-ganiyu-b90140107/

🚀 Twitter: https://twitter.com/YusufOGaniyu

📝 Medium: https://medium.com/@yusuf.ganiyu

🌟 Bitte LIKE ❤️ und ABONNIEREN Sie für mehr TOLLE Inhalte! 🌟

Gefällt Ihnen dieses Video? Kaufen Sie mir einen Kaffee ❤️ https://www.buymeacoffee.com/yusuf.ganiyu/

🔗 Nützliche Links und Ressourcen:

✅ Code: https://github.com/airscholar/e2e-data-engineering.git

✅ Medium-Artikel: https://medium.com/@yusuf.ganiyu/realtime-data-engineering-project-with-airflow-kafka-spark-cassandra-and-postgres-804bcd963974

✅ Docker Compose-Dokumentation: https://docs.docker.com/compose/

✅ Offizielle Apache Kafka-Website: https://kafka.apache.org/

✅ Offizielle Apache Spark-Website: https://spark.apache.org/

✅ Offizielle Apache Airflow-Website: https://airflow.apache.org/

✅ Cassandra: https://cassandra.apache.org/

✅ Confluent-Dokumentation: https://docs.confluent.io/home/overview.html

✨ Tags ✨

Datenengineering, Apache Airflow, Kafka, Apache Spark, Cassandra, PostgreSQL, Zookeeper, Docker, Docker Compose, ETL-Pipeline, Datenpipeline, Big Data, Streaming-Daten, Echtzeitanalysen, Kafka Connect, Spark Master, Spark Worker, Schema-Registry, Control Center, Datenstreaming

✨ Hashtags ✨

#confluent #Datenengineering #ApacheAirflow #Kafka #ApacheSpark #Cassandra #PostgreSQL #Docker #ETLPipeline #Datenpipeline #StreamingDaten #Echtzeitanalysen