Dans cette vidéo, nous plongeons dans la conception d'un système de web crawler ou de web scraper qui soit scalable, efficace et prêt pour une utilisation dans le monde réel. Que vous vous prépariez à un entretien de conception de système ou que vous construisiez votre propre crawler, ce guide est fait pour vous.
Ce que vous apprendrez :
Qu'est-ce qu'un Web Crawler ?
Composants Clés : Frontière d'URL, Parseur, Stockage, Planificateur
Comment gérer la montée en charge et le parallélisme
Défis : Politesse, Robustesse