Usando a biblioteca "celery" do Python, vamos escrever um webscraper muito básico para buscar os 1000 principais sites
Obrigado por assistir e não se esqueça de se inscrever para acompanhar todos os nossos vídeos!
O que é Web scraping?
Web scraping, coleta de dados da web ou extração de dados da web é a técnica de extração de dados usada para coletar informações de sites. O software de web scraping pode acessar a World Wide Web diretamente usando o Protocolo de Transferência de Hipertexto ou através de um navegador. Embora o web scraping possa ser feito manualmente por um usuário de software, o termo geralmente se refere a processos automatizados implementados usando um bot ou crawler da web. É uma forma de cópia, na qual dados específicos são coletados e copiados da web, tipicamente para um banco de dados local central ou planilha, para recuperação ou análise posterior.
Playlist de Web Scraping:
Outros vídeos de Web Scraping:
Web Scraping: Web Scraping com Python por BangPypers
Web Scraping: Web Scraping com Python por M.Yasoob Khalid
Web Scraping: Web Scraping com Python por Nikola Milojica
Web Scraping: Web Scraping Poderoso e Pesquisa com Python por Michael Ruegg
Web Scraping: Passos para realizar Web Scraping com Python
Web Scraping: Ferramentas de Web Scraping em Python pelo Singapore Python User Group
Web Scraping: Sessões, Requisições, Cookies & JSON
Web Scraping: usando requisições para passar parâmetros de busca para craigslist
Web Scraping: usando requisições para coletar dados de um site
Web Scraping: Web scraping com Python usando Requests e LXML
Web Scraping: Vídeo básico de Python Async (100 milhões de requisições HTTP)
Web Scraping: Como você coleta dados atrás de uma página de autenticação usando Python Requests
Web Scraping: Como baixar toda a Mídia do WordPress
Web Scraping: Web scraping rápido e sujo com Python
Web Scraping: Usando Python para Comprar Ingressos dos Vingadores Primeiro!
Web Scraping: Escrevendo um Coletor de Endereços de Email em Python
CURL:
Web Scraping: Requisições de URL com cURL e Console do Chrome
Web Scraping: Coletando dados do Flickr com cURL para Tutorial Divertido
Celery:
Web Scraping: Scraping com Celery
Scrapy:
Web Scraping: Introdução ao Web Scraping usando Scrapy
Web Crawler:
Web Scraping: Crawler da Web em Python
Pandas:
Web Scraping: Python Pandas: armazenando dados em um DataFrame do Pandas
Web Scraping: Extraindo facilmente tabelas de sites com pandas e python
Web Scraping: Extraindo dados tabulares de PDF com Python - Tabula, Camelot, PyPDF2
XPATH:
Web Scraping: Python + XPath = Poder Extra de Análise
Re Module:
Web Scraping: usando o módulo re do python para processar arquivos de texto parte 1
Web Scraping: usando o módulo re do python para processar arquivos de texto parte 2
API:
Web Scraping: Cálculo da Média Móvel usando Python
Web scraping de uma página da web envolve buscá-la e extrair dela. Buscar é o download de uma página (que um navegador faz quando você visualiza a página). Portanto, o web crawling é um componente principal do web scraping, para buscar páginas para processamento posterior. Uma vez buscadas, a extração pode ocorrer. O conteúdo de uma página pode ser analisado, pesquisado, reformulado, seus dados copiados para uma planilha, e assim por diante. Os web scrapers normalmente retiram algo de uma página, para utilizá-lo para outro propósito em outro lugar. Um exemplo seria encontrar e copiar nomes e números de telefone, ou empresas e seus URLs, para uma lista (coleta de contatos).