Impulsados por la tecnología de Inteligencia Artificial, los productos y servicios basados en video de BIGO han ganado una inmensa popularidad, con usuarios en más de 150 países. Estos incluyen Bigo Live (streaming en vivo) y Likee (video de formato corto). Bigo Live está disponible en más de 150 países y Likee tiene más de 100 millones de usuarios y es popular entre la Generación Z.
En los últimos años, hemos desplegado muchos clústeres de Kafka para soportar ETL en tiempo real y recomendaciones de video de formato corto. La arquitectura en capas de Apache Pulsar y nuevas características, como baja latencia con durabilidad, escalabilidad horizontal, multi-tenencia, etc., nos ayudan a resolver muchos problemas en producción. Hemos adoptado Apache Pulsar para construir nuestro Sistema de Procesamiento de Mensajes, especialmente en ETL en Tiempo Real, recomendaciones de video de formato corto y reportes de Datos en Tiempo Real.
En esta presentación, compartiré nuestros diarios utilizando KOP (Kafka en Pulsar) para proporcionar una migración sin problemas de Kafka a Pulsar, especialmente en términos de mejorar el rendimiento y la estabilidad. También discutiré casos importantes de uso de Apache Pulsar en BIGO, como el soporte para millones de temas, aprendizaje automático en tiempo real e integración con Flink y Flink SQL.
Hang Chen: Hang Chen, Committer de Apache Pulsar e Ingeniero de Staff en BIGO, es el Líder del equipo de Plataforma de Mensajería de BIGO, y responsable de crear una Plataforma de mensajería pub-sub centralizada que proporciona una gran cantidad de tráfico de servicios/aplicaciones. Introdujo Apache Pulsar en su Plataforma de Mensajería e integró con sistemas ascendentes y descendentes, como Flink, ClickHouse y otros sistemas internos para recomendaciones y análisis en Tiempo Real. Se enfoca en la optimización del rendimiento de Pulsar, desarrollo de nuevas características e integración del ecosistema de Pulsar.