Scrapy é um framework de web scraping poderoso, conciso e tudo em um em Python. Pode ser usado para extrair dados de qualquer site. Nesta demonstração, discuto como instalar o framework Scrapy no Mac e no Windows. Como analisar um site para scraping. Finalmente, mostrei como usar o framework Scrapy para extrair dados do site goodreads.com para nossos propósitos educacionais. Confira o curso completo de Web Scraping em Python na Udemy:
https://www.udemy.com/web-scraping-in-python/🚀 Tópicos Clique Para Ir Diretamente
⌨️ 0:00 | Introdução
⌨️ 1:04 | Configuração do Scrapy no Mac
⌨️ 4:07 | Configuração do Scrapy no Windows
⌨️ 9:49 | Análise do Site
⌨️ 15:22 | Codificação
Python é uma linguagem de alto nível interpretada para programação de propósito geral. Foi iniciada por Guido Van Rossum e lançada pela primeira vez em 1991. É uma linguagem de tipo duck, fácil de entender e agora muito popular tanto no mundo acadêmico quanto profissional.
Usando Python, pode-se escrever um script simples para desenvolvimento de aplicativos web. Além disso, em aprendizado de máquina ou em aprendizado profundo, Python é muito popular, pois possui algumas bibliotecas open source excepcionais.
Python 3 tem um IDLE embutido – Ambiente de Desenvolvimento Interativo instalado automaticamente. Se você executá-lo, poderá ver a seguinte janela. No canto superior esquerdo, você pode ver o número da versão instalada, aqui estamos vendo Python 3.7
Web scraping é uma técnica para extrair dados de uma página da web usando um programa de computador. Python é uma linguagem muito popular para web scraping. A biblioteca urllib embutida do Python para conectar-se a sites e recuperar dados e a biblioteca de terceiros BeautifulSoup para analisar dados HTML são uma combinação muito popular para web scraping em Python.
Às vezes, também queremos extrair informações de algumas páginas da web que são totalmente carregadas pelo framework JavaScript. Nas técnicas normais de scraping, não é possível extrair dados, pois os dados são carregados de forma preguiçosa. Podemos resolver tanto o teste de páginas da web quanto o scraping de páginas dinâmicas executando código JavaScript usando a biblioteca Selenium.
http://bit.ly/2PLLlud#python_web_scraping #python #scrapy