Neste tutorial de web scraping em Python, utilizo Python 3 e o pacote requests do Python para extrair uma lista de usuários online de um aplicativo de chat. No meu próximo vídeo, vou ensinar como fazer scraping da Amazon, então não se esqueça de se inscrever para ficar atualizado.
Para acompanhar este tutorial, você deve ter o seguinte instalado:
Demonstro o uso de sessões e cookies, utilizando o pacote requests do Python, e mostro como é fácil fazer requisições a aplicativos que requerem login. Também demonstro brevemente como analisar os dados retornados usando JSON.
Se você gostou deste vídeo e gostaria de ver mais vídeos e tutoriais sobre web scraping, por favor, mostre seu apoio dando um like e se inscrevendo. Deixe um comentário com qualquer dúvida ou pedidos para vídeos futuros.
O que é Web scraping?
Web scraping, coleta de dados da web ou extração de dados da web é uma técnica de extração de dados usada para coletar informações de sites. O software de web scraping pode acessar a World Wide Web diretamente usando o Protocolo de Transferência de Hipertexto, ou através de um navegador. Embora o web scraping possa ser feito manualmente por um usuário de software, o termo geralmente se refere a processos automatizados implementados usando um bot ou crawler da web. É uma forma de cópia, na qual dados específicos são coletados e copiados da web, tipicamente para um banco de dados local central ou planilha, para recuperação ou análise posterior.
Playlist de Web Scraping:
Outros vídeos de Web Scraping:
Web Scraping: Web Scraping com Python por BangPypers
Web Scraping: Web Scraping com Python por M.Yasoob Khalid
Web Scraping: Web Scraping com Python por Nikola Milojica
Web Scraping: Web Scraping Poderoso e Pesquisa com Python por Michael Ruegg
Web Scraping: Passos para realizar Web Scraping com Python
Web Scraping: Ferramentas de Web Scraping em Python pelo Singapore Python User Group
Web Scraping: Sessões, Requisições, Cookies e JSON
Web Scraping: usando requisições para passar parâmetros de busca para craigslist
Web Scraping: usando requisições para extrair dados de um site
Web Scraping: Web scraping com Python usando Requests e LXML
Web Scraping: Vídeo básico de Python Async (100 milhões de requisições HTTP)
Web Scraping: Como fazer scraping atrás de uma página de autenticação usando Python Requests
Web Scraping: Como baixar toda a mídia do WordPress
Web Scraping: Web scraping rápido e sujo com Python
Web Scraping: Usando Python para comprar ingressos dos Vingadores primeiro!
Web Scraping: Escrevendo um scraper de endereços de e-mail em Python
CURL:
Web Scraping: Requisições de URL com cURL e Console do Chrome
Web Scraping: Scraping do Flickr com cURL para Tutorial Divertido
Celery:
Web Scraping: Scraping com Celery
Scrapy:
Web Scraping: Introdução ao Web Scraping usando Scrapy
Web Crawler:
Web Scraping: Crawler da Web em Python
Pandas:
Web Scraping: Python Pandas: armazenando dados em um DataFrame do Pandas
Web Scraping: Extraindo facilmente tabelas de sites com pandas e python
Web Scraping: Extraindo dados tabulares de PDF com Python - Tabula, Camelot, PyPDF2
XPATH:
Web Scraping: Python + XPath = Poder Extra de Análise
Re Module:
Web Scraping: usando o módulo re do python para processar arquivos de texto parte 1
Web Scraping: usando o módulo re do python para processar arquivos de texto parte 2
API:
Web Scraping: Cálculo da Média Móvel usando Python