Impulsionados pela tecnologia de Inteligência Artificial, os produtos e serviços baseados em vídeo da BIGO ganharam imensa popularidade, com usuários em mais de 150 países. Isso inclui o Bigo Live (streaming ao vivo) e o Likee (vídeo de formato curto). O Bigo Live está disponível em mais de 150 países e o Likee tem mais de 100 milhões de usuários, sendo popular entre a Geração Z.
Nos últimos anos, implantamos muitos clusters Kafka para suportar ETL em tempo real e recomendações de vídeo de formato curto. A arquitetura em camadas do Apache Pulsar e novos recursos, como baixa latência com durabilidade, escalabilidade horizontal, multi-inquilino, etc., nos ajudam a resolver muitos problemas em produção. Adotamos o Apache Pulsar para construir nosso Sistema de Processamento de Mensagens, especialmente em ETL em Tempo Real, recomendações de vídeo de formato curto e relatórios de Dados em Tempo Real.
Nesta apresentação, compartilharei nossos registros usando KOP (Kafka on Pulsar) para fornecer migração sem costura do Kafka para o Pulsar, especialmente em termos de melhoria de desempenho e estabilidade. Também discutirei casos principais de uso do Apache Pulsar na BIGO, como suporte a milhões de tópicos, aprendizado de máquina em tempo real e integração com Flink e Flink SQL.
Hang Chen: Hang Chen, Committer do Apache Pulsar e Engenheiro da BIGO, é o Líder da equipe da Plataforma de Mensagens da BIGO e responsável por criar uma Plataforma de Mensagens pub-sub centralizada que fornece um vasto número de tráfegos de serviço/aplicação. Ele introduziu o Apache Pulsar em sua Plataforma de Mensagens e integrou com sistemas upstream e downstream, como Flink, ClickHouse e outros sistemas internos para recomendações e análises em Tempo Real. Ele se concentra na otimização de desempenho do Pulsar, desenvolvimento de novos recursos e integração do ecossistema Pulsar.