Angetrieben von Künstlicher Intelligenz haben die video-basierten Produkte und Dienstleistungen von BIGO immense Popularität erlangt, mit Nutzern in mehr als 150 Ländern. Dazu gehören Bigo Live (Live-Streaming) und Likee (Kurzvideo). Bigo Live ist in mehr als 150 Ländern verfügbar und Likee hat über 100 Millionen Nutzer und ist bei der Generation Z beliebt.
In den letzten Jahren haben wir viele Kafka-Cluster bereitgestellt, um Echtzeit-ETL und Kurzvideo-Empfehlungen zu unterstützen. Die schichtartige Architektur von Apache Pulsar und neue Funktionen wie niedrige Latenz mit Haltbarkeit, horizontale Skalierbarkeit, Multi-Tenancy usw. helfen uns, viele Probleme in der Produktion zu lösen. Wir haben Apache Pulsar übernommen, um unser Nachrichtenverarbeitungssystem aufzubauen, insbesondere für Echtzeit-ETL, Kurzvideo-Empfehlungen und Echtzeit-Datenberichte.
In dieser Präsentation werde ich unsere Erfahrungen mit KOP (Kafka on Pulsar) teilen, um eine nahtlose Migration von Kafka zu Pulsar zu ermöglichen, insbesondere in Bezug auf die Verbesserung von Leistung und Stabilität. Ich werde auch wichtige Anwendungsfälle für Apache Pulsar bei BIGO diskutieren, wie z.B. die Unterstützung von Millionen von Themen, Echtzeit-Maschinenlernen und die Integration mit Flink und Flink SQL.
Hang Chen: Hang Chen, Apache Pulsar Committer und BIGO Staff Engineer, ist der Leiter des Messaging-Plattform-Teams von BIGO und verantwortlich für die Erstellung einer zentralisierten Pub-Sub-Messaging-Plattform, die eine Vielzahl von Service-/Anwendungsverkehr bereitstellt. Er hat Apache Pulsar in ihre Messaging-Plattform eingeführt und mit upstream- und downstream-Systemen integriert, wie Flink, ClickHouse und anderen internen Systemen für Echtzeit-Empfehlungen und Analysen. Er konzentriert sich auf die Leistungsoptimierung von Pulsar, die Entwicklung neuer Funktionen und die Integration des Pulsar-Ökosystems.