Salut, comment ça va les gars ? Ensemble, nous avons parcouru de nombreux tutoriels sur le web scraping et maîtrisé les bibliothèques Requests + Beautiful Soup ainsi que le framework Scrapy, mais aujourd'hui, j'aimerais approfondir un peu le processus de web scraping et le décomposer en deux grandes parties : effectuer des requêtes HTTP et analyser le contenu. Cette vidéo couvre la première partie - nous allons créer des méthodes get() et post() pour invoquer les requêtes HTTP respectives et être capables de fournir une charge utile de données avec des en-têtes personnalisés.
Ne le prenez pas trop au sérieux, c'est fait plus pour des fins éducatives que pour une utilisation en production)
Code source
Projet complet
Prochaine partie (implémentation de l'analyseur HTML)