E aí, pessoal. Juntos, já passamos por inúmeros tutoriais de web scraping e dominamos as bibliotecas Requests + Beautiful Soup, além do framework Scrapy, mas hoje eu gostaria de aprofundar um pouco mais no processo de web scraping e dividi-lo em duas partes principais: fazer requisições HTTP e analisar o conteúdo. Este vídeo cobre a primeira parte - vamos acabar criando os métodos get() e post() para invocar as respectivas requisições HTTP e ser capazes de fornecer o payload de dados junto com cabeçalhos personalizados.
Não leve muito a sério, isso foi feito mais para fins educacionais do que para uso em produção)
Código fonte
Projeto completo
Próxima parte (implementando o parser HTML)