Tutorial abrangente de web scraping com Python e Beautiful Soup! (find/find_all, seleção CSS, raspar tabela)

Pratique suas habilidades em ciência de dados com Python Pandas com problemas no StrataScratch!

Neste vídeo, percorremos o web scraping em Python usando a biblioteca Beautiful Soup. Começamos com uma breve introdução ao HTML e CSS e discutimos o que é web scraping. Em seguida, começamos a entender os fundamentos da biblioteca Beautiful Soup. Isso inclui como carregar uma página da web, os comandos básicos que você precisa saber, como find e find_all, capturando strings de elementos HTML, etc. A seção final deste tutorial é uma série de exercícios onde você pode praticar suas habilidades. Nesta seção, raspamos uma página da web em busca de links, aprendemos como raspar uma tabela e carregá-la em um dataframe do pandas, e vemos como você pode raspar e baixar uma imagem da web. Espero que você goste!

Estou pensando em fazer vídeos futuros sobre coisas mais complexas que você pode fazer com web scraping, bem como outras bibliotecas úteis, como Selenium e Scrapy. Inscreva-se para não perder esses vídeos.

Junte-se ao Exército Python para ter acesso a benefícios!

YouTube - https://www.youtube.com/channel/UCq6XkhO5SZ66N04IcPbqNcw/join

Patreon - https://www.patreon.com/keithgalli

---------------------

Recursos usados neste vídeo

Página da web simples: https://keithgalli.github.io/web-scraping/example.html

Página da web de exemplo: https://keithgalli.github.io/web-scraping/webpage.html

Link para o código-fonte: https://github.com/KeithGalli/web-scraping

Documentação do Beautiful Soup: https://www.crummy.com/software/BeautifulSoup/bs4/doc/

Referência de Seletores CSS: https://www.w3schools.com/cssref/css_selectors.asp

---------------------

Saiba mais sobre HTML/CSS

@Traversy Media Curso Intensivo de HTML: https://youtu.be/UB1O30fR-EE

@Traversy Media Curso Intensivo de CSS: https://youtu.be/yfoY53QXEnI

Codecademy: https://www.codecademy.com/catalog/language/html-css

---------------------

Cronograma do vídeo!

0:00 - Introdução & Visão Geral do Vídeo

1:09 - O que é web scraping?

3:51 - Introdução ao HTML

Usando a biblioteca Beautiful Soup (5:29)

6:31 - Carregando uma página da web (biblioteca requests)

8:21 - Começando a raspar

9:18 - Métodos find & find_all

16:00 - Encontrando texto/string específica em nosso HTML (regex)

18:38 - Método select (seleções de caminho CSS)

25:55 - Capturando a string/texto de um elemento HTML

28:17 - Obtendo uma propriedade de um elemento HTML (href, src, id, class, etc)

29:41 - Navegação no código (pais, filhos, irmãos)

Vamos praticar nossas habilidades! (33:57)

35:53 - Exercício #1: Capturar todos os links sociais na página da web de 3 maneiras diferentes

42:09 - Exercício #2: Raspar uma tabela HTML em um Dataframe do Pandas

53:09 - Exercício #3: Capturar todos os fatos divertidos que contêm a palavra “é”

57:59 - Exercício #4: Usar Beautiful Soup para ajudar a baixar uma imagem de uma página da web

1:04:20 - Exercício #5: Resolver o desafio misterioso!!!

---------------------

Siga-me nas redes sociais!

Instagram | https://www.instagram.com/keithgalli/

Twitter | https://twitter.com/keithgalli

---------------------

Se você está curioso para aprender como faço meus tutoriais, confira este vídeo: https://youtu.be/LEO4igyXbLs

Aprenda habilidades de dados com exercícios práticos e tutoriais no Datacamp!

*Eu uso links de afiliados nos produtos que recomendo. Posso ganhar uma comissão de compra ou um bônus de referência pelo uso desses links.