Tutorial Completo de Web Scraping com Python e Beautiful Soup! (find/find_all, seleção CSS, extrair tabela)

Pratique suas habilidades em ciência de dados com Python Pandas com problemas no StrataScratch!

Neste vídeo, abordamos o web scraping em Python usando a biblioteca Beautiful Soup. Começamos com uma breve introdução ao HTML e CSS e discutimos o que é web scraping. Em seguida, começamos a explorar os conceitos básicos da biblioteca Beautiful Soup. Isso inclui como carregar uma página da web, os comandos básicos que você precisa conhecer, como find e find_all, capturando strings de elementos HTML, etc. A seção final deste tutorial é uma série de exercícios onde você pode praticar suas habilidades. Nesta seção, fazemos o scraping de uma página da web para links, aprendemos como extrair uma tabela e carregá-la em um dataframe do pandas, e vemos como você pode fazer o scraping e baixar uma imagem da web. Espero que você goste!

Estou pensando em fazer vídeos futuros sobre coisas mais complexas que você pode fazer com web scraping, assim como outras bibliotecas úteis, como Selenium e Scrapy. Inscreva-se para não perder esses conteúdos.

Junte-se ao Python Army para ter acesso a benefícios!

YouTube - https://www.youtube.com/channel/UCq6XkhO5SZ66N04IcPbqNcw/join

Patreon - https://www.patreon.com/keithgalli

---------------------

Recursos utilizados neste vídeo

Página da web simples: https://keithgalli.github.io/web-scraping/example.html

Página da web de exemplo: https://keithgalli.github.io/web-scraping/webpage.html

Link para o código-fonte: https://github.com/KeithGalli/web-scraping

Documentação do Beautiful Soup: https://www.crummy.com/software/BeautifulSoup/bs4/doc/

Referência de Seletores CSS: https://www.w3schools.com/cssref/css_selectors.asp

---------------------

Saiba mais sobre HTML/CSS

@Traversy Media Curso Intensivo de HTML: https://youtu.be/UB1O30fR-EE

@Traversy Media Curso Intensivo de CSS: https://youtu.be/yfoY53QXEnI

Codecademy: https://www.codecademy.com/catalog/language/html-css

---------------------

Cronograma do vídeo!

0:00 - Introdução & Visão Geral do Vídeo

1:09 - O que é web scraping?

3:51 - Introdução ao HTML

Usando a biblioteca Beautiful Soup (5:29)

6:31 - Carregando uma página da web (biblioteca requests)

8:21 - Começando a fazer scraping

9:18 - Métodos find & find_all

16:00 - Encontrando texto/strings específicas em nosso HTML (regex)

18:38 - Método select (seleções de caminho CSS)

25:55 - Capturando a string/texto de um elemento HTML

28:17 - Obtendo uma propriedade de um elemento HTML (href, src, id, class, etc)

29:41 - Navegação no código (pais, filhos, irmãos)

Vamos praticar nossas habilidades! (33:57)

35:53 - Exercício #1: Capturar todos os links sociais na página da web de 3 maneiras diferentes

42:09 - Exercício #2: Extrair uma tabela HTML para um Dataframe do Pandas

53:09 - Exercício #3: Capturar todos os fatos interessantes que contêm a palavra “é”

57:59 - Exercício #4: Usar o Beautiful Soup para ajudar a baixar uma imagem de uma página da web

1:04:20 - Exercício #5: Resolver o desafio misterioso!!!

---------------------

Siga-me nas redes sociais!

Instagram | https://www.instagram.com/keithgalli/

Twitter | https://twitter.com/keithgalli

---------------------

Se você está curioso para aprender como faço meus tutoriais, confira este vídeo: https://youtu.be/LEO4igyXbLs

Aprenda habilidades de dados com exercícios práticos e tutoriais no Datacamp!

*Eu uso links de afiliados nos produtos que recomendo. Posso ganhar uma comissão de compra ou um bônus de referência pelo uso desses links.