Crie uma conta para usar a IA

Crie uma conta gratuita para desbloquear todos os recursos:

Faça perguntas sobre vídeos com IA
Salve seus vídeos favoritos
Marque suas categorias favoritas
Organize suas subcategorias favoritas
Acesse sua página de favoritos personalizada
Acesse o histórico das suas conversas
Personalize sua página inicial com seus favoritos

Já tem uma conta? Entrar

Curso Scrapy – Web Scraping em Python para Iniciantes

Name: Curso Scrapy – Web Scraping em Python para Iniciantes
Uploaded: 2023-04-27T14:38:08+00:00
Duration: 4 h 37 min 9 s

freeCodeCamp.org

O Curso para Iniciantes em Scrapy ensinará tudo o que você precisa saber para começar a raspar sites em grande escala usando Python Scrapy.

O curso abrange:

- Criando sua primeira aranha Scrapy

- Raspando sites e coletando dados de cada página

- Limpando dados com Itens e Pipelines de Itens

- Salvando dados em arquivos CSV, bancos de dados MySQL e Postgres

- Usando agentes de usuário e cabeçalhos falsos para evitar bloqueios

- Usando proxies para aumentar sua raspagem de dados sem ser banido

- Implantando seu raspador na nuvem e agendando para rodar periodicamente

✏️ Curso criado por Joe Kearney.

⭐️ Recursos ⭐️

Recursos do Curso

- Documentação do Scrapy: https://docs.scrapy.org/en/latest/

- Guia do Curso: https://thepythonscrapyplaybook.com/freecodecamp-beginner-course/

- Github do Curso: https://github.com/orgs/python-scrapy-playbook/repositories

- O Playbook do Python Scrapy: https://thepythonscrapyplaybook.com/

Ambientes de Nuvem

- Scrapyd: https://github.com/scrapy/scrapyd

- ScrapydWeb: https://github.com/my8100/scrapydweb

- Monitor e Agendador ScrapeOps: https://scrapeops.io/monitoring-scheduling/

- Scrapy Cloud: https://www.zyte.com/scrapy-cloud/

Proxies

- Ferramenta de Comparação de Planos de Proxy: https://scrapeops.io/proxy-providers/comparison/free-proxy-providers

- Agregador de Proxies ScrapeOps: https://scrapeops.io/proxy-api-aggregator/

- Smartproxy: https://smartproxy.com/deals/proxyservers/ips

❤️ Experimente cursos interativos de Python que amamos, diretamente no seu navegador: https://scrimba.com/freeCodeCamp-Python (Tornado possível por uma concessão de nossos amigos da Scrimba)

⭐️ Conteúdos ⭐️

⌨️ (0:00:00) Parte 1 - Introdução ao Scrapy e ao Curso

⌨️ (0:08:22) Parte 2 - Configurando Ambiente Virtual e Scrapy

⌨️ (0:16:28) Parte 3 - Criando um Projeto Scrapy

⌨️ (0:28:17) Parte 4 - Construa sua Primeira Aranha Scrapy

⌨️ (0:55:09) Parte 5 - Construa Aranha de Descoberta e Extração

⌨️ (1:20:11) Parte 6 - Limpando Dados com Pipelines de Itens

⌨️ (1:44:19) Parte 7 - Salvando Dados em Arquivos e Bancos de Dados

⌨️ (2:04:33) Parte 8 - Agentes de Usuário Falsos e Cabeçalhos de Navegador

⌨️ (2:40:12) Parte 9 - Rotacionando Proxies e APIs de Proxy

⌨️ (3:18:12) Parte 10 - Executando Aranhas na Nuvem com Scrapyd

⌨️ (4:03:46) Parte 11 - Executando Aranhas na Nuvem com ScrapeOps

⌨️ (4:20:04) Parte 12 - Executando Aranhas na Nuvem com Scrapy Cloud

⌨️ (4:30:36) Parte 13 - Conclusão e Próximos Passos

🎉 Agradecimentos aos nossos apoiadores Campeões e Patrocinadores:

👾 davthecoder

👾 jedi-or-sith

👾 南宮千影

👾 Agustín Kussrow

👾 Nattira Maneerat

👾 Heather Wcislo

👾 Serhiy Kalinets

👾 Justin Hual

👾 Otis Morgan

Aprenda a programar de graça e consiga um emprego como desenvolvedor: https://www.freecodecamp.org

Leia centenas de artigos sobre programação: https://freecodecamp.org/news