Obrigado por assistir e não se esqueça de se inscrever para acompanhar todos os nossos vídeos!
O que é Web scraping?
Web scraping, coleta de dados da web ou extração de dados da web é uma técnica de raspagem de dados usada para extrair informações de sites. O software de web scraping pode acessar a World Wide Web diretamente usando o Protocolo de Transferência de Hipertexto, ou através de um navegador. Embora o web scraping possa ser feito manualmente por um usuário de software, o termo geralmente se refere a processos automatizados implementados usando um bot ou crawler da web. É uma forma de cópia, na qual dados específicos são coletados e copiados da web, tipicamente para um banco de dados local central ou planilha, para recuperação ou análise posterior.
Playlist de Web Scraping:
Outros vídeos de Web Scraping:
Web Scraping: Web Scraping com Python por BangPypers
Web Scraping: Web Scraping com Python por M.Yasoob Khalid
Web Scraping: Web Scraping com Python por Nikola Milojica
Web Scraping: Web Scraping Poderoso e Pesquisa com Python por Michael Ruegg
Web Scraping: Passos para realizar Web Scraping com Python
Web Scraping: Ferramentas de Web Scraping em Python pelo Singapore Python User Group
Web Scraping: Sessões, Requisições, Cookies & JSON
Web Scraping: usando requisições para passar parâmetros de busca para craigslist
Web Scraping: usando requisições para raspar um site em busca de dados
Web Scraping: Web scraping com Python usando Requisições e LXML
Web Scraping: Vídeo básico de Python Async (100 milhões de requisições HTTP)
Web Scraping: Como raspar atrás da página de autenticação de login usando Python Requisições
Web Scraping: Como baixar toda a Mídia do WordPress
Web Scraping: Web scraping rápido e sujo com Python
Web Scraping: Usando Python para Comprar Ingressos dos Vingadores Primeiro!
Web Scraping: Escrevendo um Raspador de Endereços de Email em Python
CURL:
Web Scraping: Requisições de URL com cURL e Console do Chrome
Web Scraping: Raspando Flickr com cURL para Tutorial Divertido
Celery:
Web Scraping: Raspando com Celery
Scrapy:
Web Scraping: Introdução ao Web Scraping usando Scrapy
Web Crawler:
Web Scraping: Crawler da Web em Python
Pandas:
Web Scraping: Python Pandas: armazenando dados em um DataFrame do Pandas
Web Scraping: Extraindo facilmente tabelas de sites com pandas e python
Web Scraping: Extraindo dados tabulares de PDF com Python - Tabula, Camelot, PyPDF2
XPATH:
Web Scraping: Python + XPath = Poder Extra de Análise
Re Module:
Web Scraping: usando o módulo re do python para processar arquivos de texto parte 1
Web Scraping: usando o módulo re do python para processar arquivos de texto parte 2
API:
Web Scraping: Cálculo da Média Móvel usando Python
Web scraping de uma página da web envolve buscá-la e extrair dela. Buscar é o download de uma página (que um navegador faz quando você visualiza a página). Portanto, o web crawling é um componente principal do web scraping, para buscar páginas para processamento posterior. Uma vez buscadas, a extração pode ocorrer. O conteúdo de uma página pode ser analisado, pesquisado, reformatado, seus dados copiados para uma planilha, e assim por diante. Os raspadores da web geralmente retiram algo de uma página, para utilizá-lo para outro propósito em outro lugar. Um exemplo seria encontrar e copiar nomes e números de telefone, ou empresas e seus URLs, para uma lista (raspagem de contatos).
Web scraping é usado para raspagem de contatos, e como um componente de aplicações usadas para indexação da web, mineração de dados e mineração de dados, monitoramento de mudanças de preços online e comparação de preços, raspagem de avaliações de produtos (para observar a concorrência), coleta de listagens de imóveis, monitoramento de dados meteorológicos, detecção de mudanças em sites, pesquisa, rastreamento de presença e reputação online, mashup da web e, integração de dados da web.