Créez un compte pour utiliser l'IA

Créez un compte gratuit pour débloquer toutes les fonctionnalités :

Posez des questions sur les vidéos avec l'IA
Utilisez la recherche intelligente (IA)
Sauvegardez vos vidéos en favoris
Marquez vos catégories préférées
Organisez vos sous-catégories favorites
Accédez à votre page de favoris personnalisée
Retrouvez l'historique de vos conversations
Personnalisez votre page d'accueil avec vos favoris

Vous avez déjà un compte ? Se connecter

Cours Scrapy – Web Scraping avec Python pour Débutants

Name: Cours Scrapy – Web Scraping avec Python pour Débutants
Uploaded: 2023-04-27T14:38:08+00:00
Duration: 4 h 37 min 9 s

freeCodeCamp.org

Le cours pour débutants Scrapy vous apprendra tout ce que vous devez savoir pour commencer à extraire des données de sites web à grande échelle en utilisant Python Scrapy.

Le cours couvre :

- Création de votre première araignée Scrapy

- Exploration de sites web et extraction de données de chaque page

- Nettoyage des données avec des Items et des Pipelines d'Items

- Sauvegarde des données dans des fichiers CSV, des bases de données MySQL et Postgres

- Utilisation de faux user-agents et d'en-têtes pour éviter d'être bloqué

- Utilisation de proxies pour augmenter votre web scraping sans être banni

- Déploiement de votre scraper dans le cloud et planification de son exécution périodique

✏️ Cours créé par Joe Kearney.

⭐️ Ressources ⭐️

Ressources du cours

- Documentation Scrapy : https://docs.scrapy.org/en/latest/

- Guide du cours : https://thepythonscrapyplaybook.com/freecodecamp-beginner-course/

- Github du cours : https://github.com/orgs/python-scrapy-playbook/repositories

- Le Playbook Python Scrapy : https://thepythonscrapyplaybook.com/

Environnements Cloud

- Scrapyd : https://github.com/scrapy/scrapyd

- ScrapydWeb : https://github.com/my8100/scrapydweb

- ScrapeOps Monitor & Scheduler : https://scrapeops.io/monitoring-scheduling/

- Scrapy Cloud : https://www.zyte.com/scrapy-cloud/

Proxies

- Outil de comparaison de plans de proxy : https://scrapeops.io/proxy-providers/comparison/free-proxy-providers

- Agrégateur de Proxies ScrapeOps : https://scrapeops.io/proxy-api-aggregator/

- Smartproxy : https://smartproxy.com/deals/proxyservers/ips

❤️ Essayez des cours interactifs de Python que nous adorons, directement dans votre navigateur : https://scrimba.com/freeCodeCamp-Python (Rendu possible grâce à une subvention de nos amis de Scrimba)

⭐️ Contenu ⭐️

⌨️ (0:00:00) Partie 1 - Introduction à Scrapy et au cours

⌨️ (0:08:22) Partie 2 - Configuration de l'environnement virtuel et de Scrapy

⌨️ (0:16:28) Partie 3 - Création d'un projet Scrapy

⌨️ (0:28:17) Partie 4 - Construisez votre première araignée Scrapy

⌨️ (0:55:09) Partie 5 - Construisez une araignée de découverte et d'extraction

⌨️ (1:20:11) Partie 6 - Nettoyage des données avec des pipelines d'items

⌨️ (1:44:19) Partie 7 - Sauvegarde des données dans des fichiers et des bases de données

⌨️ (2:04:33) Partie 8 - Faux user-agents et en-têtes de navigateur

⌨️ (2:40:12) Partie 9 - Rotation des proxies et APIs de proxy

⌨️ (3:18:12) Partie 10 - Exécution des araignées dans le cloud avec Scrapyd

⌨️ (4:03:46) Partie 11 - Exécution des araignées dans le cloud avec ScrapeOps

⌨️ (4:20:04) Partie 12 - Exécution des araignées dans le cloud avec Scrapy Cloud

⌨️ (4:30:36) Partie 13 - Conclusion et prochaines étapes

🎉 Merci à nos supporters Champions et Sponsors :

👾 davthecoder

👾 jedi-or-sith

👾 南宮千影

👾 Agustín Kussrow

👾 Nattira Maneerat

👾 Heather Wcislo

👾 Serhiy Kalinets

👾 Justin Hual

👾 Otis Morgan

Apprenez à coder gratuitement et obtenez un emploi de développeur : https://www.freecodecamp.org

Lisez des centaines d'articles sur la programmation : https://freecodecamp.org/news