Propulsés par la technologie de l'intelligence artificielle, les produits et services vidéo de BIGO ont gagné une immense popularité, avec des utilisateurs dans plus de 150 pays. Cela inclut Bigo Live (streaming en direct) et Likee (vidéo courte). Bigo Live est disponible dans plus de 150 pays et Likee compte plus de 100 millions d'utilisateurs et est populaire parmi la génération Z.
Au cours des dernières années, nous avons déployé de nombreux clusters Kafka pour soutenir l'ETL en temps réel et la recommandation de vidéos courtes. L'architecture en couches d'Apache Pulsar et ses nouvelles fonctionnalités, telles que la faible latence avec durabilité, l'évolutivité horizontale, la multi-location, etc., nous aident à résoudre de nombreux problèmes en production. Nous avons adopté Apache Pulsar pour construire notre Système de Traitement de Messages, en particulier dans l'ETL en temps réel, la recommandation de vidéos courtes et le rapport de données en temps réel.
Dans cette présentation, je partagerai nos journaux utilisant KOP (Kafka sur Pulsar) pour fournir une migration transparente de Kafka vers Pulsar, notamment en termes d'amélioration des performances et de la stabilité. Je discuterai également des cas majeurs d'utilisation d'Apache Pulsar chez BIGO, tels que le support de millions de sujets, l'apprentissage automatique en temps réel et l'intégration avec Flink et Flink SQL.
Hang Chen : Hang Chen, committer Apache Pulsar et ingénieur chez BIGO, est le leader de l'équipe de la plateforme de messagerie de BIGO, responsable de la création d'une plateforme de messagerie pub-sub centralisée qui fournit un grand nombre de trafics de services/applications. Il a introduit Apache Pulsar dans leur plateforme de messagerie et intégré avec des systèmes en amont et en aval, tels que Flink, ClickHouse et d'autres systèmes internes pour la recommandation et l'analyse en temps réel. Il se concentre sur l'optimisation des performances de Pulsar, le développement de nouvelles fonctionnalités et l'intégration de l'écosystème Pulsar.