Viele Jobseiten laden Inhalte mit JavaScript. In dieser Sitzung zeigen wir, wie man Scrapy mit Playwright kombiniert, um dynamische Seiten zu verarbeiten, wie man robots.txt respektiert und höflich crawlt sowie Crawling-Muster wie BFS für paginierte Listings anwendet. Wir behandeln auch praktische Einstellungen (AutoThrottle, Caching, rotierende User-Agents), damit Ihre Spider effizient laufen, ohne blockiert zu werden. Beispielseiten sind Bayt, Wuzzuf und LinkedIn.