De nombreux sites d'emploi chargent du contenu avec JavaScript. Cette session montre comment combiner Scrapy avec Playwright pour gérer les pages dynamiques, comment respecter le fichier robots.txt et le crawling respectueux, ainsi que des modèles de crawler comme BFS pour les listes paginées. Nous abordons également des paramètres pratiques (AutoThrottle, mise en cache, rotation des agents utilisateurs) afin que vos spiders fonctionnent efficacement sans être bloqués. Les sites d'exemple incluent Bayt, Wuzzuf et LinkedIn.