Raspagem de dados da web
Ordenar por:
8:56
Web Scraping com C#: Tutorial Completo 2026
🔧 *API OXYLABS WEB SCRAPER* Raspe até 2 mil resultados gratuitamente: 👉 https://oxy.yt/5vHV Neste tutorial de C#, mostramos como construir um web scraper robusto e escalável usando o framework .NET. Embora bibliotecas em outras linguagens sejam populares, o web scraping em C# oferece desempenho comparável com o benefício da segurança de tipos para projetos complexos. Este vídeo é um guia de web scraping em C# para iniciantes, onde você aprenderá a configurar seu ambiente no VS Code e usar o HtmlAgilityPack para analisar dados. Nós o guiamos pelo processo de web scraping em C#, cobrindo tudo, desde a inicialização do projeto até técnicas avançadas, como imitar navegadores reais com cabeçalhos HTTP. Você aprenderá a investigar a estrutura subjacente de um site usando DevTools para identificar atributos de classe específicos, como títulos de produtos e preços. Explicamos como carregar HTML em um HtmlDocument, usar seletores XPath para encontrar elementos e iterar sobre itens raspados para armazená-los como registros em C#. Para lidar com escalas maiores, demonstramos a utilização de proxies residenciais da Oxylabs para rotacionar endereços IP e gerenciar códigos de erro 429 com tentativas. Ao final, você terá uma compreensão clara de como salvar seus dados em um arquivo CSV usando CsvHelper. Também fornecemos dicas essenciais para tornar sua jornada de scraping ética e eficiente, incluindo respeitar robots.txt, manter atrasos nas solicitações e usar cache para minimizar a carga do servidor. 📚 *OUTROS RECURSOS* ✏️ Aprenda mais sobre web scraping em nosso blog: https://oxy.yt/dvGz 🔧 *NOSSAS OUTRAS SOLUÇÕES DE SCRAPING* Proxies Residenciais: 👉 https://oxy.yt/GvDS Proxies de ISP: 👉 https://oxy.yt/DvS6 Proxies Dedicados de ISP: 👉 https://oxy.yt/gvJR Proxies de Datacenter: 👉 https://oxy.yt/evJV Proxies Dedicados de Datacenter: 👉 https://oxy.yt/MvFX ⏳ *CARACTERES TEMPORAIS* 0:00 Introdução 0:22 Por que usar C# 0:35 Começando 0:46 Configuração do ambiente e ferramentas 1:42 Construindo o scraper 2:11 Inspecionando a estrutura do sandbox 3:11 Fazendo uma solicitação HTTP 4:00 Definindo um registro para os produtos a serem raspados 4:18 Iterando sobre os dados dos produtos raspados 4:57 Imprimindo os valores 5:08 Armazenando os dados recuperados 5:35 Executando o script 5:57 Como evitar bloqueio de IP 6:38 Usando Proxy Residencial para scraping 7:35 Lidando com o código de erro 429 8:12 Importância do scraping ético 8:31 Conclusão #WebScraping #CSharp #CSharpWebScraping #WebScrapingUsandoCSharp © 2026 Oxylabs. Todos os direitos reservados.
Oxylabs•3.6k visualizações•Há 2 mes
11:13
Tutorial de Web Scraper em Golang 2026
Construa um web scraper em Golang do zero usando o framework Colly e tenha-o funcionando em menos de 10 minutos. Neste tutorial, você aprenderá como configurar um projeto de web scraping em Go desde o início, escrever seu primeiro scraper e progressivamente torná-lo mais rápido e confiável. Começamos com a instalação e configuração do projeto, depois mergulhamos diretamente em como o Colly funciona, um framework orientado a eventos que torna o web scraping em Golang limpo e eficiente. A partir daí, passamos por um scraper funcional real passo a passo. Você verá como extrair dados estruturados de um site de e-commerce usando structs em Go, seletores CSS e métodos embutidos do Colly. Em seguida, mostramos como executar várias requisições ao mesmo tempo para acelerar as coisas, automatizar a paginação para que seu scraper em Golang navegue pelas páginas sozinho e adicionar tratamento de erros para mantê-lo funcionando suavemente quando algo dá errado. Também cobrimos como exportar seus dados raspados para um arquivo CSV usando a biblioteca padrão do Go, sem necessidade de ferramentas de terceiros. E se você está planejando um projeto de web scraping em Go em maior escala, tocamos brevemente na rotação de proxies e para onde ir a partir daqui. Ao final, você terá um scraper em Golang totalmente funcional e a base para estendê-lo para qualquer projeto de extração de dados. 📚 *RECURSOS* ✏️ Web scraper em Golang (postagem no blog): https://oxy.yt/xvfw 📖 Documentação do Colly: https://oxy.yt/NvgD 🔧 *NOSSAS SOLUÇÕES DE SCRAPING* API de Web Scraper: https://oxy.yt/Avs1 AI Studio: https://oxy.yt/yvdH ⏳ *CARACTERES TEMPORAIS* 0:00 Introdução 0:32 Configuração e instalação 0:51 Visão geral do Colly 1:23 Scraper de links 2:57 Extraindo dados de produtos 4:48 Scraping concorrente 6:32 Paginação 7:40 Tratamento de erros 9:16 Armazenando dados raspados em CSV 10:40 Aviso legal 10:56 Conclusão #Golang #GoWebScraping #GolangScraper #WebScraping #ExtraçãoDeDados #Colly #Oxylabs © 2026 Oxylabs. Todos os direitos reservados.
Oxylabs•2.1k visualizações•Há 2 mes
13:19
Tutorial de Web Scraping com Playwright para Iniciantes (2026)
🔧 *API OXYLABS WEB SCRAPER* Raspe até 2 mil resultados gratuitamente: 👉 https://oxy.yt/zveF Tutorial de web scraping com Playwright – construa um poderoso scraper com Python. Neste guia abrangente, nós o conduzimos pelo web scraping com Playwright desde o início. Você aprenderá como construir um scraper funcional de Playwright usando Python, lidar com conteúdo dinâmico e exportar dados limpos e estruturados. Se você é novo em automação de navegador ou está procurando melhorar seu fluxo de trabalho existente, este tutorial aprofundado de Playwright cobre tudo o que você precisa para começar a raspar sites modernos, pesados em JavaScript, com confiança. Este vídeo foca em web scraping prático e do mundo real com Playwright. Começamos configurando um ambiente Python e instalando o Playwright, depois passamos para o lançamento de um navegador, navegação em páginas e extração de dados estruturados usando localizadores. Você verá como a espera automática embutida do Playwright melhora a confiabilidade e torna o scraping de conteúdo dinâmico significativamente mais fácil em comparação com ferramentas tradicionais. Também exploramos técnicas avançadas para automação com Playwright, incluindo interceptação de requisições para bloquear recursos desnecessários, lidando com paginação, trabalhando com contextos de navegador e configurando cabeçalhos para reduzir riscos de detecção. Se você está interessado no Playwright para web scraping em grande escala, demonstramos a integração de proxies e explicamos como abordar as proteções anti-bot de forma responsável. Ao final deste tutorial de web scraping com Playwright, você entenderá como estruturar um scraper de Playwright pronto para produção para projetos modernos de web scraping em Python. 📚 *OUTROS RECURSOS* ✏️ Aprenda mais sobre web scraping com Playwright em nosso blog: https://oxy.yt/zvr4 ✏️ Documentação do Playwright: https://oxy.yt/dvtA ✏️ Repositório de código de exemplo: https://oxy.yt/Kvyl 🔧 *NOSSAS OUTRAS SOLUÇÕES DE SCRAPING* Proxies Residenciais: 👉 https://oxy.yt/yvuS Proxies de ISP: 👉 https://oxy.yt/TviM Proxies Dedicados de ISP: 👉 https://oxy.yt/dvot Proxies de Datacenter: 👉 https://oxy.yt/Vvpv Proxies Dedicados de Datacenter: 👉 https://oxy.yt/jvad ⏳ *CARIMBOS DE TEMPO* 0:00 Introdução 0:26 Contexto 0:57 Configuração do ambiente 1:37 Primeiro scraper de Playwright 2:47 Alvo de dados com DevTools 5:39 Lidando com conteúdo dinâmico 7:12 Recursos avançados 9:33 Táticas de furtividade e contorno de anti-bot 10:58 Limpeza e exportação de dados 12:27 Considerações éticas 12:48 Conclusão #Playwright #WebScraping © 2026 Oxylabs. Todos os direitos reservados.
Oxylabs•7.6k visualizações•Há 2 mes
4:53
Aprenda Web Scraping em 5 Minutos (SEM CONHECIMENTO PRÉVIO)
👉 Livre-se do Bloqueio de IP por apenas $1 com DataImpulse: https://dataimpulse.com/?utm_source=youtube&utm_medium=video&utm_campaign= 👉Obtenha 40% de DESCONTO na CodeCrafters: https://app.codecrafters.io/join?via=codehead-01 👉Aprimore suas habilidades de programação com Scrimba https://scrimba.com/?via=codehead (20% de DESCONTO com este link) 👉ARRASE na sua próxima entrevista técnica com 50% de DESCONTO na AlgoMonster: https://algo.monster/codehead 👉Criei um servidor no Discord para todos vocês, cabeças de código, se juntarem: https://discord.gg/MfCKFK2fTe 👉Compre um ☕ para este cansado Cabeça de Código: https://buymeacoffee.com/codehead ❓Tópicos abordados: web scraping tutorial de web scraping web scraping em python web scraping python programação beautifulsoup beautifulsoup4 #programação #codificação #desenvolvimentoweb
CodeHead•111.8k visualizações•Há 2 mes
![Tutorial de Web Scraping com Selenium para Iniciantes [2026]](https://i.ytimg.com/vi/6zqYkPe-qJc/hqdefault.jpg)
9:19
Tutorial de Web Scraping com Selenium para Iniciantes [2026]
🔧 *API OXYLABS WEB SCRAPER* Raspe até 2 mil resultados gratuitamente: 👉 https://oxy.yt/Ovwo Neste tutorial de web scraping com Selenium, mostramos como construir um raspador de web robusto e dinâmico usando Python. Enquanto bibliotecas como BeautifulSoup são ótimas para sites estáticos, a maioria dos sites modernos usa JavaScript para carregar conteúdo, tornando o web scraping com Selenium a solução essencial para automação. Este vídeo é um tutorial de Selenium para iniciantes onde você aprenderá o que é Selenium e como usar Selenium, começando pela configuração do ambiente para raspar dados de sites dinâmicos, navegando pelo DOM com DevTools e seletores CSS. Nós guiamos você pelo processo de web scraping usando Selenium, cobrindo tudo, desde a configuração do ambiente no VS Code até técnicas avançadas de scraping com Selenium, como lidar com WebDriverWait, contornar prompts de cookies, gerenciar rolagem infinita e utilizar o modo headless para um web scraping com Selenium mais eficiente. Ao final, você terá uma compreensão clara de como funciona o web scraping com Selenium, com algumas dicas e truques adicionais para tornar sua jornada de scraping ética e mais eficiente. 📚 *OUTROS RECURSOS* ✏️ Aprenda mais sobre web scraping em nosso blog: https://oxy.yt/Xvqm 🔧 *NOSSAS OUTRAS SOLUÇÕES DE SCRAPING* Proxies Residenciais: 👉 https://oxy.yt/gc8g Proxies de ISP: 👉 https://oxy.yt/Oc4j Proxies Dedicados de ISP: 👉 https://oxy.yt/Mc7l Proxies de Datacenter: 👉 https://oxy.yt/uc5L Proxies Dedicados de Datacenter: 👉 https://oxy.yt/qc6u ⏳ *CARACTERES TEMPORAIS* 0:00 Introdução 0:18 Problemas de recuperação de dados 0:51 Por que usar Selenium 1:24 Configuração do ambiente e ferramentas 1:42 Inicializando o WebDriver 2:20 Inspecionando o site 3:08 Implementando WebDriverWait para carregar elementos 3:40 Extraindo dados 4:28 Habilitando o modo headless e executando o script 5:06 Casos de uso avançados do Selenium 5:43 Extraindo um grande número de dados 7:24 Lidando com mudanças no site 7:52 Contornando bloqueios e anti-bots 8:09 Scraping ético e melhores práticas 8:19 Conclusão #WebScraping #Selenium #SeleniumWebScraping #BeautifulSoup #WebScrapingUsingSelenium © 2026 Oxylabs. Todos os direitos reservados.
Oxylabs•11.1k visualizações•Há 2 mes
8:01
Tutorial de Web Scraping em Python: Guia Completo 2026
🔧 *API OXYLABS WEB SCRAPER* Raspe até 2 mil resultados gratuitamente: 👉 https://oxy.yt/jcW1 O web scraping em Python é uma habilidade crucial para extrair dados públicos da web de forma rápida e eficiente. Neste tutorial abrangente de web scraping em Python, vamos guiá-lo na construção de um scraper web totalmente funcional e automatizado do zero. Usando Python e bibliotecas essenciais como requests, Selectolax, Selenium e pandas, você aprenderá tudo o que precisa para começar a raspar a web com Python em 2026. Este vídeo detalha cada etapa: configurando seu ambiente Python, buscando e analisando dados HTML, lidando com conteúdo dinâmico com Selenium e salvando seus dados raspados como arquivos CSV. Também exploraremos desafios comuns no web scraping com Python, como páginas renderizadas em JavaScript e bloqueios, juntamente com soluções práticas como adicionar cabeçalhos e usar proxies para melhorar a confiabilidade e anonimato. Ao final deste tutorial, você saberá como gerenciar dados raspados de forma eficiente e aplicar as melhores práticas éticas em seus projetos de scraping em Python. Seja realizando pesquisas de mercado, treinando um modelo de IA ou construindo projetos pessoais, este guia fornece uma base sólida para web scraping com Python. 📚 *OUTROS RECURSOS* ✏️ Aprenda mais sobre web scraping em nosso blog: https://oxy.yt/KcEg 🔧 *NOSSAS OUTRAS SOLUÇÕES DE SCRAPING* Proxies Residenciais: 👉 https://oxy.yt/1cRy Proxies de ISP: 👉 https://oxy.yt/ScTP Proxies Dedicados de ISP: 👉 https://oxy.yt/FcY7 Proxies de Datacenter: 👉 https://oxy.yt/UcUl Proxies Dedicados de Datacenter: 👉 https://oxy.yt/8cIx ⏳ *CARACTERES TEMPORAIS* 0:00 Introdução 0:35 Configuração do ambiente e ferramentas 1:05 Inspecionando a estrutura do site 1:58 Construindo um scraper estático 2:32 Analisando dados 3:57 Exportando dados 4:28 Lidando com conteúdo dinâmico 5:01 Configurando modo headless e esperas 6:24 Contornando bloqueios e anti-bots 7:16 Scraping ético e melhores práticas 7:37 Conclusão #WebScraping #Python #BeautifulSoup #DataScraping © 2026 Oxylabs. Todos os direitos reservados.
Oxylabs•5.7k visualizações•Há 3 mes
4:59
Raspagem Web com IA e Python | Tutorial de Raspagem Web
Quer construir raspadores web que não quebram quando os sites mudam? Neste tutorial, vamos mostrar como usar a raspagem web com IA e Python para extrair dados estruturados sem regras de análise frágeis. Aprenda a combinar a confiabilidade do Python com a flexibilidade da IA para raspadores prontos para produção. 🔗 Como raspar a web com IA e Python: Passo 1: Instale Python, Requests, Beautiful Soup e a biblioteca OpenAI. Passo 2: Obtenha sua chave de API OpenAI e exporte-a como uma variável de ambiente. Passo 3: Obtenha proxies residenciais da Decodo. Passo 4: Escreva o raspador – busque HTML, limpe-o e envie-o para o modelo de IA com um esquema JSON. Passo 5: Execute o script e obtenha dados estruturados sem escrever seletores. 🚀 Experimente os proxies residenciais da Decodo gratuitamente: https://dashboard.decodo.com/residential-proxies/pricing 📄 Obtenha o código completo: https://decodo.com/blog/ai-web-scraping-python 💡 Por que usar proxies residenciais? Proxies residenciais evitam bloqueios de IP, CAPTCHAs e outros obstáculos ao raspar em grande escala. A Decodo oferece mais de 115 milhões de IPs em mais de 195 locais com uma taxa de sucesso de 99,95%. ⏰ Marcas de tempo: 00:00 Introdução 00:17 Raspagem Tradicional vs Raspagem com IA 00:29 Visão Geral do Fluxo de Trabalho: Python + Extração de IA 00:53 Configuração de Ferramentas e Requisitos 01:03 Instalando Pacotes Python Necessários 01:13 Obtendo e Configurando uma Chave de API OpenAI 01:55 Configuração do Projeto e Importações Necessárias 02:09 Configurando URL Alvo e Configurações de Proxy 02:28 Buscando HTML com Python Requests 02:41 Limpando HTML Antes do Processamento de IA 02:53 Extraindo Dados Estruturados com IA 03:07 Definindo Esquema JSON para Saída 03:35 Salvando Resultados em JSONL 04:01 Executando o Raspador de Ponta a Ponta 04:32 Escalando o Raspador para Uso em Produção 👉 Ferramentas usadas: – Python – API OpenAI (GPT-5.2) – Requests – Beautiful Soup – Proxies residenciais da Decodo ▶️ O que você aprenderá: ✔️ Como a IA melhora a raspagem web tradicional ✔️ Configurando a API OpenAI para extração de dados ✔️ Construindo um fluxo de trabalho completo de raspador com IA ✔️ Buscando e limpando HTML para processamento de IA ✔️ Definindo esquemas JSON para saída estruturada ✔️ Salvando resultados em JSONL para fácil análise ✔️ Escalando raspadores de IA para uso em produção 🔗 Recursos úteis: Instalação do Python: https://www.python.org/downloads Plataforma OpenAI: https://platform.openai.com Documentação da Decodo: http://help.decodo.com Perguntas Frequentes: ❓ O que é raspagem web com IA? A raspagem web com IA usa grandes modelos de linguagem para extrair dados estruturados de páginas da web. Em vez de regras de análise rígidas, você fornece ao modelo HTML e ele retorna campos organizados com base no significado, não na estrutura da tag. ❓ A raspagem com IA é boa para iniciantes? Sim, a raspagem com IA é frequentemente mais fácil porque remove as partes mais difíceis da raspagem tradicional. Você não precisa dominar seletores complexos ou escrever longas lógicas de análise apenas para extrair alguns campos. ❓ A IA substitui o código de raspagem em Python? Não, o Python ainda é responsável por buscar páginas, lidar com tentativas e armazenar resultados. A IA entra onde o código é mais frágil, interpretando o conteúdo da página e retornando dados estruturados. ❓ Preciso de hardware especial? Não, a maioria dos fluxos de trabalho de raspagem com IA usa APIs hospedadas, então o cálculo pesado é feito em infraestrutura remota. Seu computador local apenas envia solicitações e processa respostas. ❓ Por que usar proxies com raspagem de IA? Proxies ajudam você a evitar bloqueios de IP e limites de taxa ao raspar várias páginas. Proxies residenciais funcionam melhor porque parecem tráfego de usuários reais. Vamos nos conectar em outras plataformas! 🔹 LinkedIn: linkedin.com/company/decodo 🔹 Comunidade Discord: discord.gg/gvJhWJPaB4 🔹 GitHub: github.com/decodo Precisa de suporte direto? 🔹 Para consultas de vendas, envie um e-mail para: sales@decodo.com 🔹 Suporte ao cliente 24/7: direct.lc.chat/12092754
Decodo (formerly Smartproxy)•719 visualizações•Há 3 mes
![Como Raspagem de Produtos de um Site? [Tutorial Python]](https://i.ytimg.com/vi/nj6KUE-Rp0w/hqdefault.jpg)
6:35
Como Raspagem de Produtos de um Site? [Tutorial Python]
Quer aprender a raspar produtos de um site sem complicações? Neste tutorial de raspagem da web, Dovydas da Oxylabs mostra como raspar todos os produtos de um site usando Python e a API Web Scraper da Oxylabs. Você descobrirá como raspar páginas de eCommerce com segurança, extrair títulos de produtos, descrições e preços, e salvar tudo como dados estruturados para análise. Este guia de raspagem da web em Python o orienta na configuração do seu ambiente, no envio de solicitações de raspagem e na realização da extração de dados com BeautifulSoup – perfeito para quem deseja automatizar a pesquisa de produtos ou o rastreamento de concorrentes. Ao final, você entenderá como raspar todas as informações e dados dos produtos de um site usando um raspador da web confiável. Se você é novo na raspagem de dados ou está procurando escalar seu fluxo de trabalho de raspagem de eCommerce, este tutorial o ajudará a transformar páginas brutas em insights acionáveis. Experimente nossa API Web Scraper gratuitamente 👉 https://oxy.yt/Txc3 🔧 *NOSSAS SOLUÇÕES DE RASPAGEM* API Web Scraper: 👉 https://oxy.yt/rxmo Proxies Residenciais: 👉 https://oxy.yt/GxvW Proxies de Datacenter Compartilhados: 👉 https://oxy.yt/Txbq Proxies de Datacenter Dedicados: 👉 https://oxy.yt/TxnD 🤝 *VAMOS NOS CONECTAR* https://discord.gg/6FAVVryt9W ⏳ *CARACTERES DE TEMPO* 0:00 Introdução 0:28 Por que raspar dados de produtos da web? 1:09 Pré-requisitos 1:49 Função principal 2:43 Formando uma solicitação 3:34 Analisando os resultados 5:18 Salvando dados em CSV 5:59 Encerramento Inscreva-se para mais: https://oxy.yt/RxWj © 2025 Oxylabs. Todos os direitos reservados. #RaspagemWeb #RaspagemWebPython #RaspagemDeDados #RaspadorEcommerce #RasparProdutos #Oxylabs
Oxylabs•1.5k visualizações•Há 6 mes
12:25
Web Scraping É Fácil Agora (Revisão e Tutorial do Browse AI)
Crie robôs que podem extrair dados de qualquer site sem habilidades de programação. Até a extração profunda é fácil. 👉 Experimente gratuitamente: https://toolcorner.ai/browseai Vídeos relacionados: https://www.youtube.com/watch?v=L-zPtultkQU https://www.youtube.com/playlist?list=PLrdoNWNHu5qkjSBnJreJOrAKEcPZ2IhmO Inscreva-se no canal para mais análises de ferramentas de IA. Marcos de tempo: 0:00 - Introdução 1:13 - Preços 1:28 - Evasão de robôs & A extração de dados é legal? 2:33 - Configuração do robô 7:19 - Extração profunda com fluxos de trabalho 9:49 - Integrações, webhook, API 10:21 - Extração com login
AI Tool Corner•3.0k visualizações•Há 6 mes
19:29
As 3 Melhores Maneiras de Extrair Qualquer Site (Tutorial n8n)
Obtenha meu suporte 1-1 para Começar e Escalar sua Agência de IA: https://bit.ly/4bF7Dr0 Obtenha o Modelo de Fluxo de Trabalho n8n GRÁTIS deste vídeo: https://www.skool.com/the-ai-automation-circle As 3 Melhores Maneiras de Extrair Qualquer Site (Tutorial n8n) Neste vídeo, eu explico as 3 melhores maneiras de extrair qualquer site dentro do n8n, desde uma página estática simples até um site dinâmico complexo que requer JavaScript. Vamos cobrir: - Método 1: O Nó de Requisição HTTP (Prós: Rápido, gratuito e embutido. Contras: Não consegue lidar com JavaScript e fica bagunçado.) - Método 2: Firecrawl (Prós: Lida com JavaScript, retorna Markdown limpo e usa proxies. Contras: Requer uma chave de API.) - Método 3: Apify (Prós: Lida com extrações em larga escala de sites complexos como LinkedIn e Amazon com "Atores" pré-construídos. Contras: Pode ficar caro.) Marcos de Tempo 00:00 - Introdução 01:14 - Método 1 05:53 - Método 2 11:18 - Método 3 18:20 - Conclusão
Michele Torti•17.9k visualizações•Há 7 mes
7:07
Scraper TOUT Internet graças a este AGENTE IA (BrowserAct)
BrowserAct : https://browseract.ai/HugoBuisson → Se você quer se formar em IA para recuperar entre 10 a 30h/semana na sua atividade em 90 dias, é aqui : https://cal.eu/hugo-buisson/acompanhamento → Se você é uma empresa e está procurando um prestador de serviços, é aqui : https://cal.eu/hugo-buisson/prestacao-de-servico ----- Junte-se à minha comunidade ! : skool.com/automizacao-ia-by-buisson-6133 ----- Scraper QUALQUER site web GRATUITAMENTE graças a este AGENTE IA (BrowserAct) é uma demonstração completa do que permite fazer o BrowserAct, uma ferramenta baseada em inteligência artificial que te dá a possibilidade de extrair dados da web, automatizar pesquisas complexas e recuperar informações de qualquer site em poucos cliques. Se você quer extrair dados do Google Maps, LinkedIn, sites de anúncios, plataformas de emprego ou até mesmo bancos de dados mais técnicos, este tutorial do BrowserAct te guia passo a passo na criação de um agente IA autônomo, sem necessidade de saber programar. Neste vídeo, você verá concretamente como criar um agente autônomo IA BrowserAct para recuperar números de telefone no Google Maps, extrair dados do LinkedIn e até mesmo automatizar a recuperação de ofertas de emprego graças aos fluxos de trabalho integrados. Vamos te mostrar como configurar a região, configurar o acesso a sites protegidos por login, usar as diferentes funcionalidades como “controle de navegador”, “pesquisa social” ou ainda “extração de notícias”. Em poucos minutos, você aprende a criar um scraper web gratuito capaz de simular uma navegação humana, clicar, copiar e salvar as informações úteis em um formato estruturado como JSON ou CSV. O mais poderoso no BrowserAct é sua capacidade de combinar simplicidade de uso e desempenho. Com um agente IA bem configurado, você pode prospectar com a IA, recuperar dados precisos (como os contatos profissionais de um setor específico), extrair páginas do LinkedIn para encontrar ofertas de emprego direcionadas ou até mesmo automatizar a extração de dados públicos. Este guia completo do BrowserAct também mostra como contornar algumas limitações clássicas da extração usando bots no-code, capazes de se conectar a sites seguros com login e senha. Você verá também como usar um email temporário para criar uma conta segura e evitar comprometer seus dados pessoais. BrowserAct oferece uma versão gratuita com 500 créditos diários, suficientes para realizar até 100 etapas de automação por dia. Ideal para testar e implementar seus primeiros fluxos de trabalho de automação IA. Você também descobrirá como integrar seus agentes e fluxos de trabalho do BrowserAct ao Make, Zapier ou outras ferramentas via APIs de extração oferecidas. Este vídeo é, portanto, perfeito se você está procurando “como extrair um site web gratuitamente”, “agente IA BrowserAct”, “extrair Google Maps”, “extrair LinkedIn” ou até mesmo “extrair números de telefone de site web”. Scraper QUALQUER site web GRATUITAMENTE graças a este AGENTE IA (BrowserAct) é muito mais do que um simples tutorial: é um verdadeiro guia para descobrir a automação de dados por inteligência artificial, com casos concretos, dicas para otimizar suas pesquisas e demonstrações em tempo real. Se você é freelancer, marketeer, recrutador, empreendedor ou simplesmente curioso sobre IA, este vídeo vai te ensinar a tirar proveito do poder dos agentes autônomos e da extração no-code. Graças ao BrowserAct, automatizar tarefas tediosas, recuperar bancos de dados direcionados e impulsionar sua prospecção nunca foi tão simples. Assista ao vídeo agora para descobrir como criar seu próprio agente IA gratuitamente e começar a extrair sites web com toda a simplicidade. #NoCode #WebScraping #API #Templates ----- Capítulos : 00:00 As demonstrações 00:30 Os agentes - Recuperar números 02:56 Os cenários - Extrair LinkedIn
Hugo Buisson•4.8k visualizações•Há 7 mes
1:52:03
Raspagem de Web com Python: Uma Ideia de Projeto de Milhões de Dólares - Construção/Tutorial COMPLETO
Use o código TECHWITHTIM para obter um desconto de 20% na API de Raspagem da Oxylabs: https://oxylabs.go2cloud.org/aff_c?offer_id=7&aff_id=1684&url_id=182 Obtenha um teste gratuito e raspe 2.000 URLs da Amazon. Não é necessário cartão de crédito: https://oxylabs.go2cloud.org/aff_c?offer_id=7&aff_id=1684&url_id=182 👉 Confira o PyCharm, o único IDE Python que você precisa. Construído para profissionais de web, dados e IA/ML. Baixe agora. Gratuito para sempre, além de um mês de Pro incluído: https://jb.gg/check_out_pycharm_ide Quer ganhar dinheiro de verdade com programação? Eu compartilho insights de alto valor sobre carreiras, monetização e alavancagem na minha newsletter gratuita. Junte-se aqui e receba meu guia Como Ganhar Dinheiro com Programação instantaneamente: https://techwithtim.net/newsletter 🎞 Recursos de Vídeo 🎞 Código neste vídeo: https://github.com/techwithtim/AmazonPriceCompetitorAnalysisLLM Documentação da API de Raspagem: https://developers.oxylabs.io/scraping-solutions/web-scraper-api ⏳ Marcas de Tempo ⏳ 00:00 | Visão Geral 00:01:54 | Demonstração do Projeto 00:04:10 | Arquitetura/Design do Projeto 00:07:04 | Configuração e Dependências do Projeto 00:09:57 | Estruturação do Projeto 00:13:44 | Configuração da UI do Streamlit 00:19:57 | Configuração do Banco de Dados 00:25:18 | Lógica de Raspagem (Produto da Amazon) 00:41:42 | Visualizando Cartões de Produtos (UI) 00:50:35 | Salvando Produtos no Banco de Dados 00:54:30 | Coletando Concorrentes (Busca na Amazon) 01:21:57 | Exibindo Todos os Produtos (UI) 01:35:32 | Análise LLM (Langchain) 01:51:20 | Estúdio de IA da Oxylabs Hashtags #Python #RaspagemDeWeb #Oxylabs
Tech With Tim•34.2k visualizações•Há 7 mes
5:16
Raspe QUALQUER site GRÁTIS usando DeepSeek AI
⭐ Sorteio: Nosso plugin 100% GRÁTIS torna qualquer site 3X mais rápido - https://bit.ly/airlift-performance-plugin. Neste vídeo Você provavelmente procurou pelo "melhor raspador de site gratuito" e ou é grátis e mal funciona... ou é pago e consome seu orçamento muito rápido. Nos últimos 10 anos, eu experimentei todas as ferramentas de raspagem da web disponíveis, e nos últimos 2, todas as ferramentas de IA para isso... algumas me deram dados utilizáveis quase inexistentes. E algumas até me bloquearam. Mas a partir de agosto de 2025, se você me perguntar - qual é o melhor raspador de site gratuito para obter milhares de leads de alta qualidade - a resposta é o Modelo R1 da Deepseek combinado com o Crawl4AI. É isso que vou te mostrar hoje.
WPDev•45.9k visualizações•Há 9 mes
5:28
A Dura Verdade sobre Web Scraping em 2025
➡ Junte-se à minha lista de e-mails https://johnwr.com ➡ COMUNIDADE https://discord.gg/C4J2uckpbR ➡ PROXIES https://proxyscrape.com/?ref=jhnwr ➡ API DE WEB SCRAPING https://hubs.li/Q043T88w0 ➡ HOSPEDAGEM https://m.do.co/c/c7c90f161ff6 Se você é novo, bem-vindo. Eu sou John, um desenvolvedor de Python autodidata e criador de conteúdo, trabalhando na Zyte. Eu me especializo em extração de dados e automação. Se você gosta de programação e conteúdo da web tanto quanto eu, pode se inscrever para receber conteúdo semanal. Todas as opiniões neste vídeo são minhas e não representam as de meu empregador. ⚠ ISENÇÃO DE RESPONSABILIDADE Alguns/todos os links acima são links de afiliados. Ao clicar nesses links, recebo uma pequena comissão caso você escolha comprar algum serviço ou item.
John Watson Rooney•77.2k visualizações•Há 1 a
51:01
Tutorial n8n: Raspe QUALQUER Site com n8n! (Iniciante a Profissional)
💎 Junte-se às Fundamentos de Ai: https://www.skool.com/ai-foundations Bem-vindo ao guia abrangente sobre como raspar qualquer site usando n8n, mesmo se você for um total iniciante. Este tutorial n8n é um passo a passo completo que o levará de iniciante a profissional. Eu mostro como fazer raspagem básica usando firecrawl, como usar n8n com planilhas do Google e como automatizar tarefas de raspagem para criar postagens automatizadas no LinkedIn usando feeds RSS! Não só o guia é útil para aqueles que desejam aprender a raspar, mas também ensinará como enriquecer esses dados usando o ChatGPT, para que você possa criar conteúdo personalizado, gerar leads ou até mesmo coisas como preços de concorrentes. Aproveite este guia e junte-se às Fundamentos de Ai se você quiser aprender ao meu lado e do meu irmão Drake enquanto ajudamos você a navegar pelo mundo em evolução da Ai e Automação! 💎 Junte-se às Fundamentos de Ai: https://www.skool.com/ai-foundations Masterclass de Raspagem n8n: 0:00 - Introdução à Raspagem com N8N 0:20 - Como o N8N Normalmente Funciona 0:55 - Por que precisamos de Raspagem 1:27 - O objetivo da Raspagem 2:23 - Usar Firecrawl para Raspar é FÁCIL 3:10 - Benefícios da Raspagem com Firecrawl 4:00 - Criando Seu Fluxo de Trabalho de Raspagem N8N 4:30 - Acionar Fluxo de Trabalho no N8N 4:55 - Nó HTTP N8N 5:25 - Conectando-se à API Firecrawl 11:15 - Executando Sua Primeira Raspagem com N8N e Firecrawl 11:45 - Entrada e Saída Explicadas no N8N 13:22 - Adicionando ChatGPT à nossa Ferramenta de Raspagem 21:03 - Saídas Estruturadas com ChatGPT no n8n 26:41 - Mapeando Campos N8N para Linhas de Planilhas do Google 31:09 - O que são Fundamentos de Ai? 33:02 - Por que você deve se juntar às Fundamentos de Ai 33:39 - Adicionando um Formulário de Entrada para Raspagem no N8N 37:59 - Raspagem Totalmente Automatizada no N8N 49:57 - Maestria em Raspagem N8N #n8n #raspagem #ai
Productive Dude•59.4k visualizações•Há 1 a
14:11
Como Raspagem de Qualquer Site Com Python (Até os Difíceis)
A raspagem de dados com Python nunca foi tão fácil desde o lançamento do Crawl4AI. O Crawl4AI é IMPRESCINDÍVEL para qualquer aplicação de raspagem de dados em Python e é ainda melhor quando integrado com o FastAPI. Qual é um grande bônus do Crawl4AI? O fato de que os dados retornam de uma maneira que pode ser implementada em sua própria aplicação RAG. 🎓 O curso de FastAPI pode ser encontrado em: FastAPI Iniciante & Avançado: https://www.udemy.com/course/fastapi-the-complete-course/?referralCode=4F4A35C1A243D23A1A59 Quer este repositório GRÁTIS: https://www.codingwithroby.io/get-repo/crawl4ai-youtube Quer repositórios de código GRÁTIS: https://www.codingwithroby.com/free-templates Junte-se à minha newsletter: https://www.codingwithroby.com/newsletter Quer agendar uma consulta 1-a-1? https://www.codingwithroby.com/coaching 🎥 Tutorial PydanticAI: https://youtu.be/YKRqnWLZbpU?si=GqbImQCDmuvz6egu 🎥 Crie Agentes de IA Que Debatem: https://youtu.be/NSEM3P9oeLk?si=rQ8mh4Omo5OQoIUz 🎥 React + FastAPI: https://youtu.be/0zb2kohYZIM 🎥 Aprenda Python em 1 Hora: https://youtu.be/fHn_NM9K470?si=Mv_Xdr91TtaJ9cB7 🎥 PostgreSQL + FastAPI: https://youtu.be/398DuQbQJq0 00:00 - Introdução ao Crawl4AI 00:51 - O que estaremos raspando? 02:54 - Primeira raspagem simples com Crawl4AI 04:06 - Raspagem de várias páginas da web ao mesmo tempo usando Crawl4AI 08:36 - Raspagem de página da web por endpoint do FastAPI usando Crawl4AI 11:26 - Raspagem de várias páginas da web ao mesmo tempo por endpoint do FastAPI e Crawl4AI #codingwithroby #python #ia
Eric Roby•21.4k visualizações•Há 1 a
12:16
Raspe QUALQUER Site Com IA Grátis - Melhor Raspeador de Sites com IA
O Raspeador de Sites com IA da Próxima Geração! https://bit.ly/3CmPeQF Raspe leads e outros dados em apenas 2 cliques. Construído para equipes de vendas e operações. Alimentado por IA. Agradecimentos ao Thunderbit por patrocinar este vídeo. Nossos patrocinadores nos ajudam a crescer o canal e continuar fazendo vídeos melhores para você. Obrigado pelo seu apoio! LINKS ↓ Clique Aqui para Começar a Automação com IA: https://skool.com/aimate/about Meus Ferramentas de IA Favoritas #1 Classificadas: https://andyhafell.ck.page/tools Encontre Seu Prompt #1 do ChatGPT Para Economizar 7 Horas Por Semana: https://andyhafell.ck.page/prompts - - - 0:00 // Introdução 1:04 // Como obter o Thunderbit 1:49 // 3 Demonstrações do Thunderbit 4:19 // Raspe de Vagas no LinkedIn 8:10 // Personalize o raspador 11:04 // Análise de dados do Chat GPT - - - Siga-me no Twitter: https://twitter.com/itsaiandy Siga no Tiktok: https://www.tiktok.com/@andyhafell Siga no Instagram: https://www.instagram.com/itsaiandy Siga Andy Hafell no Facebook: https://www.facebook.com/Andyhafell Email para Consultas de Negócios: biz@aiandy.ai
AI Andy•67.9k visualizações•Há 1 a
6:04
Como Extrair Dados de Websites Com R | Tutorial de Web Scraping
Desbloqueie todo o potencial do R para extração de dados! Neste tutorial abrangente de web scraping, vamos guiá-lo pelos passos para raspar páginas estáticas, tabelas HTML e conteúdo dinâmico usando R e RStudio. Seja você um iniciante ou um cientista de dados experiente, este guia ajudará a aprimorar suas habilidades de coleta de dados. 📌 Recursos úteis: Baixe o R: https://cran.r-project.org/ RStudio: https://posit.co/download/rstudio-desktop/ documentação do rvest: https://cran.r-project.org/web/packages/rvest/rvest.pdf Nossa playlist de web scraping: https://youtube.com/playlist?list=PL7pslqhZ89OjfDEEBkUrLHYZezzW0vYZX&feature=shared Quer aumentar sua eficiência com raspadores de web sem código? Experimente a API de Scraping Decodo (anteriormente Smartproxy) com um teste gratuito: https://decodo.com/scraping?utm_source=youtube&utm_campaign=web_scraping 🔍 O Que Você Aprenderá Neste Vídeo - Configurando o R e o RStudio para web scraping. - Extraindo dados de páginas web estáticas usando o pacote rvest. - Raspar e analisar tabelas HTML (por exemplo, tabelas da Wikipedia). - Lidando com páginas dinâmicas baseadas em JavaScript e paginação. - Salvando seus dados raspados como arquivos CSV para análise posterior. 🛠️ Pacotes Usados rvest tidyverse Os trechos de código estão fixados na seção de comentários.
Decodo (formerly Smartproxy)•8.7k visualizações•Há 1 a
23:53
De 0 a Expert em Scraping com DeepSeek IA | A Competência a 1000€/dia
🚀 Você quer passar de iniciante a expert em automações de IA? É aqui 👉 https://www.skool.com/le-club-ia-vip 💼 Você quer que cuidemos do seu projeto de IA? Entre em contato 👉 https://azuro-ai.com/contact 📌 Junte-se à minha comunidade GRATUITA e acesse todos os recursos 👇 https://www.skool.com/le-club-ia/ ---------------------------------------------------------------------------- 📺 Confira também estes vídeos 👉 https://www.youtube.com/watch?v=pWY2pw7a_EA 👉 https://www.youtube.com/watch?v=6E7ClFk7SnU 👉 https://www.youtube.com/watch?v=zPwMlcHXbCY ---------------------------------------------------------------------------- 📱 Vamos nos conectar 💼 LinkedIn : https://www.linkedin.com/in/thomas-berton-563894196/ 📱 Instagram : https://www.instagram.com/thomasbssh/ 📩 contact@azuro-ai.com ---------------------------------------------------------------------------- 📽️ Descrição do vídeo O scraping web é uma habilidade de alto valor agregado que pode render mais de 1000€/dia. Neste tutorial completo, descubra como usar o DeepSeek IA para automatizar a coleta e a análise de dados. Aprenda a configurar seu ambiente, adaptar seu scraper às suas necessidades e explorar seus dados para criar oportunidades concretas. Um guia essencial para dominar o scraping em 2025. ---------------------------------------------------------------------------- ⏱️ Timestamps 00:00 - Como usar o DeepSeek AI para fazer scraping de forma eficaz? 00:36 - As 3 ferramentas indispensáveis para web scraping 03:03 - Demonstração: Scraping de um site passo a passo 04:40 - Onde recuperar o código e o guia completo? 05:20 - Instalação das ferramentas necessárias para automatizar suas pesquisas 08:16 - Configuração ideal do seu ambiente de scraping 13:43 - Adaptar o scraper ao seu próprio projeto 21:41 - Teste do scraper em condições reais 22:29 - Como verificar a qualidade dos dados scrapados? 23:14 - Conclusão e próximos passos ---------------------------------------------------------------------------- 🔔 Inscreva-se e ative o sino para não perder nada sobre IA 🚀
Thomas Berton•93.0k visualizações•Há 1 a
18:58
Web Scraping 101: Como Raspagem de Dados em 99% dos Sites
Não perca as poderosas ferramentas de raspagem de dados da Smartproxy. Use meus links para acessar: - Teste gratuito de proxies residenciais: https://smartproxy.pxf.io/RGyK4b - Ferramentas de API de raspagem prontas: https://smartproxy.pxf.io/qznMDO
Dorian Develops•77.3k visualizações•Há 1 a
41:31
Tutorial Definitivo de Web Scraping
Confira o DataImpulse: https://dataimpulse.com/?utm_source=Youtube&utm_medium=Video&utm_campaign=CodeWithHarry Neste vídeo, mergulhamos no mundo do web scraping, cobrindo técnicas e dicas essenciais para coletar dados da web de forma segura e eficiente. O web scraping pode desbloquear insights valiosos e agilizar a coleta de dados, mas é fundamental fazê-lo da maneira certa. Marcas de Tempo ⌚ 00:00 - Introdução 02:14 - Coletando HTML 15:19 - Usando BeautifulSoup 20:42 - Quando Usar BeautifulSoup 21:45 - Requests HTML 28:13 - Selenium 36:49 - Scrapy 40:33 - Mais Bibliotecas 41:11 - Conclusão ►Confira meu canal em inglês aqui: https://www.youtube.com/channel/UC7btqG2Ww0_2LwuQxpvo2HQ ►Instagram: https://www.instagram.com/codewithharry python, C, C++, Java, JavaScript e Outros Cheatsheets [++]: Playlist: https://www.youtube.com/playlist?list=PLu0W_9lII9agrsRZjFECeFuWY5ev2pQlk ►Curso Completo [playlist]: React: https://www.youtube.com/playlist?list=PLu0W_9lII9agx66oZnT6IyhcMIbUMNMdt Python-https://www.youtube.com/playlist?list=PLu0W_9lII9agICnT8t4iYVSZ3eykIAOME OOP Python-https://www.youtube.com/playlist?list=PLu0W_9lII9ahfRrhFcoB-4lpp9YaBmdCP Java:https://www.youtube.com/playlist?list=PLu0W_9lII9agS67Uits0UnJyrYiXhDS6q JavaScript- https://www.youtube.com/playlist?list=PLu0W_9lII9ajyk081To1Cbt2eI5913SsL PHP-https://www.youtube.com/playlist?list=PLu0W_9lII9aikXkRE0WxDt1vozo3hnmtR C-https://www.youtube.com/playlist?list=PLu0W_9lII9aiXlHcLx-mDH1Qul38wD3aR C++-https://www.youtube.com/playlist?list=PLu0W_9lII9agpFUAlPFe_VNSlXW5uE0YL Git & GitHub-https://www.youtube.com/playlist?list=PLu0W_9lII9ahVQekD7ePHmnirTePXwIln Desenvolvimento Android- https://www.youtube.com/playlist?list=PLu0W_9lII9aiL0kysYlfSOUgY5rNlOhUd Python GUI- https://www.youtube.com/playlist?list=PLu0W_9lII9ajLcqRcj4PoEihkukF_OTzA Desenvolvimento Web- https://www.youtube.com/playlist?list=PLu0W_9lII9agiCUZYRsvtGTXdxkzPyItg Python Django:https://www.youtube.com/playlist?list=PLu0W_9lII9ah7DDtYtflgwMwpT3xmjXY9 Projetos Usando HTML, CSS & Javascript- https://www.youtube.com/playlist?list=PLu0W_9lII9aiQiOwthuSvinxoflmhRxM3 Estruturas de Dados e Algoritmos:https://www.youtube.com/playlist?list=PLu0W_9lII9ahIappRPN0MCAgtOu3lQjQi Siga-me nas Redes Sociais ►Website (criado usando Django Rest & Angular): https://www.codewithharry.com ►Facebook: https://www.facebook.com/CodeWithHarry ►Instagram: https://www.instagram.com/codewithharry/ Twitter: https://twitter.com/CodeWithHarry Comente "#HarryBhai" se você leu isso 😉😉
CodeWithHarry•223.5k visualizações•Há 1 a
45:36
Tutorial de Web Scraper AI em Python - Use AI Para Raspagem de QUALQUER COISA
OBTENHA MEU GUIA GRATUITO DE DESENVOLVIMENTO DE SOFTWARE👇 https://training.techwithtim.net/free-guide Neste vídeo, vou mostrar como construir um web scraper de IA usando Python. O aplicativo em si é super legal, pois raspa o site com base na URL que você fornece, captura o conteúdo do DOM e nos permite passar um prompt para a IA que será capaz de obter informações do site que desejamos. Além desta demonstração rápida de como tudo funciona, também farei uma imersão profunda em como construir o web scraper de IA utilizando ferramentas como Selenium, BeautifulSoup, LangChain e mais! Receba um crédito gratuito ao se inscrever no BrightData com uma nova conta: https://brdta.com/techwithtim_ai 🎞 Recursos do Vídeo 🎞 Código Neste Vídeo: https://github.com/techwithtim/AI-Web-Scraper Download do ChromeDriver: https://googlechromelabs.github.io/chrome-for-testing/#stable Tutorial em Vídeo do Selenium: https://www.youtube.com/watch?v=NB8OceGZGjA Link de Download do Ollama: https://ollama.com/ Github do Ollama: https://github.com/ollama/ollama ⏳ Marcas de Tempo ⏳ 00:00 | Visão Geral 00:15 | Instalação/Configuração 04:30 | Iniciando a Interface do Streamlit 07:34 | Web Scraping com Selenium 15:59 | Desbloqueando Sites/Captchas/Bans de IP 22:30 | Limpando o Conteúdo do DOM 31:10 | Analisando Conteúdo com Ollama (LLM) 39:45 | Instalação do Ollama 42:45 | Testando o Scraper Hashtags #python #ai #webscraping
Tech With Tim•357.2k visualizações•Há 1 a
3:27
Web Scraping vs Web Crawling Explicado | Diferenças e Semelhanças
Curioso sobre as diferenças entre web scraping e web crawling? 🤔 Neste vídeo, vamos explicar tudo o que você precisa saber, desde o que cada processo envolve até quando e como você pode usá-los. Ao final, você entenderá claramente web scraping vs web crawling e como essas estratégias podem ser usadas na extração de dados e além. Explore nossas soluções de web scraping: https://decodo.com/scraping?utm_source=youtube&utm_campaign=web_scraping Vá para a parte que te interessa: 00:00 O que é Web Crawling? 00:33 Exemplos de Web Crawling 01:19 O que é Web Scraping? 01:33 Exemplos de Web Scraping 02:06 Principais Diferenças Entre Web Crawling e Web Scraping 02:33 Quando Usar Ambos Juntos: Combinando Crawling e Scraping 02:52 Como Começar com Web Scraping Algumas Perguntas Frequentes: ❓ O que é web scraping? Web scraping é o processo automatizado de extrair dados específicos de sites para convertê-los em um formato estruturado para análise ou uso. ❓ O que é web crawling? Web crawling é o processo automatizado de navegar sistematicamente pela internet para indexar e coletar informações de páginas da web, muitas vezes para que os motores de busca organizem e recuperem conteúdo de forma eficiente. ❓ Qual é a principal diferença entre web scraping e web crawling? A principal diferença está em seus objetivos. Web crawling envolve navegar automaticamente pela web e coletar links ou informações para indexação, enquanto web scraping foca na extração de dados específicos de páginas da web selecionadas. ❓ Como o web scraping pode ajudar na monitorização de preços? O web scraping pode extrair automaticamente dados de preços de sites de concorrentes, permitindo que você monitore tendências de mercado e ajuste suas estratégias de preços de acordo. ❓ O web scraping e o web crawling podem ser usados juntos? Sim! Você pode usar web crawling para navegar por várias páginas e, em seguida, aplicar web scraping para extrair dados específicos dessas páginas. ❓ É possível agendar sessões de scraping? Com nossas APIs de Scraping, você pode agendar sessões de scraping para garantir que você sempre tenha dados atualizados entregues automaticamente. Participe da Conversa. Deixe-nos saber nos comentários o que mais você gostaria de aprender sobre web scraping ou crawling! Não se esqueça de curtir, comentar e se inscrever para mais insights sobre extração de dados e tecnologias web.
Decodo (formerly Smartproxy)•16.3k visualizações•Há 1 a
5:30
Como raspar QUALQUER site com a API Web Scraper da Apify
Raspe dados de qualquer site com esta API Web Scraper da Apify Store 🛍️ Tudo que você precisa é inserir um site, configurar a função da página com seletores, ajustar as especificações do Ator e exportar seus resultados em HTML, CSV ou JSON 🚀 🌐 Experimente o Web Scraper gratuitamente 👉 https://apify.it/3Mg5Xqc *Como raspar qualquer site 🧑🏫* Passo 1. Encontre o Web Scraper na Apify Store Passo 2: Clique em ‘Experimente gratuitamente’ Passo 3: Insira um site Passo 4: Encontre os elementos que você deseja raspar Passo 5: Adicione à função da página e ajuste a configuração Passo 6: Inicie o Ator e obtenha seus dados! *Links úteis 🧑💻* 📚 Leia mais sobre raspadores web universais: https://apify.it/3Aveumt 🧑💻 Inscreva-se na Apify: https://apify.it/4dwmdPE 🧩 Integre o Ator com outras ferramentas: https://apify.it/46XKQlO 👨🏻💻 Navegue por outras ferramentas de desenvolvimento na Apify Store: https://apify.it/3XfKliX *Nos siga 🤳* https://www.linkedin.com/company/apify https://twitter.com/apify https://www.tiktok.com/@apifytech https://discord.com/invite/jyEM2PRvMU *Marcos de tempo ⌛️* 00:00 Introdução 01:08 Entrada 03:57 Executar 04:17 Exportar 04:31 API 04:44 Agendamento 04:56 Integrações 05:01 Curta e inscreva-se! #webscraping #programação
Apify•38.2k visualizações•Há 1 a
22:37
🐍 Curso de WEB SCRAPING com PYTHON para INICIANTES
Curso de web scraping com python onde veremos como extrair ou filtrar informações de forma automática em um site, onde usaremos o exemplo de dockerlabs.es. #python #cursopython #kalilinux 🎫 Promoções Sponsor Raiola Networks: https://gestiondecuenta.eu/aff.php?aff=5855&especial=hosting-elpinguinodemario 👨💻 Link da Academia O Cantinho do Hacker: https://elrincondelhacker.es 🎓 Curso Preparação eJPT e Hacking do 0: https://elrincondelhacker.es/courses/preparacion-certificacion-ejptv2/ 🎓 Curso de Linux e Bash Scripting: https://elrincondelhacker.es/courses/curso-de-linux-y-bash-scripting/ 🎓 Curso de Docker: https://elrincondelhacker.es/courses/curso-de-docker/ 🎓 Curso de Python Aplicado à Cibersegurança: https://elrincondelhacker.es/courses/curso-de-python-aplicado-a-la-ciberseguridad/ 🐋 Nossa Plataforma para Praticar Hacking Ético: https://dockerlabs.es 🔴 Canal de Twitch: https://www.twitch.tv/elpinguinodemario 😺 Servidor de Discord: https://discord.gg/cDyWMyW9rK 💬 Canal de Telegram: https://t.me/elpinguinohack 🐦 Conta de X: https://twitter.com/PinguinoDeMario 💪 Apoiar: https://www.youtube.com/channel/UCGLfzfKRUsV6BzkrF1kJGsg/join 🐧 Canal Secundário: https://www.youtube.com/@elpinguinodemariolive ⚠️ ATENÇÃO: Este vídeo foi criado exclusivamente com fins educativos, todas as demonstrações são realizadas dentro de ambientes controlados que foram criados para realizar esses testes sem afetar ninguém. Em nenhum momento se fomenta o uso inadequado dessas técnicas.
El Pingüino de Mario•68.3k visualizações•Há 1 a
4:35
Vou para a prisão por fazer web scraping?
É legal minerar dados de um site público? Vamos dar uma olhada detalhada em processos judiciais recentes e controvérsias em torno da prática de web scraping. #programação #desenvolvimentoweb #oreportedo código 💬 Converse comigo no Discord https://discord.gg/fireship 🔗 Recursos Booking vs Ryanair https://corporate.ryanair.com/news/ryanair-wins-its-case-against-travel-giant-booking-com-in-delaware-court-ruling Processo do Copilot Arquivado https://www.infoworld.com/article/2515112/judge-dismisses-lawsuit-over-github-copilot-ai-coding-assistant.html Tutorial de Web Scraping https://youtu.be/qo_fUjb02ns Recursos recentes do GitHub Copilot https://youtu.be/S_RorY_FRvo 📚 Capítulos 🔥 Obtenha Mais Conteúdo - Faça Upgrade para PRO Faça upgrade em https://fireship.io/pro Use o código YT25 para 25% de desconto no acesso PRO 🎨 Minhas Configurações de Editor - Atom One Dark - vscode-icons - Fonte Fira Code 🔖 Tópicos Abordados - O que é web scraping? - Web scraping é legal? - Processos contra mineradores de dados - Processo do GitHub Copilot por usar código público - Ferramentas de IA podem legalmente fazer scraping na web? - Como funciona um arquivo robots.txt?
Fireship•1.2M visualizações•Há 1 a
9:13
Web Scraping com Python®
Se você está se perguntando como percorrer e analisar um site com Python®, este vídeo te dá a resposta! 00:00 Scraping 00:14 Web Scraping 00:42 Princípio & Limites 01:12 Como ? 01:30 Tutorial
Informatique Sans Complexe !•6.2k visualizações•Há 1 a
42:43
Tutorial Avançado de Web Scraping! (com a Biblioteca Beautiful Soup do Python)
Comece com a Bright Data + $15 de crédito grátis usando este link! https://brdta.com/keithgalli Neste vídeo, vamos mergulhar em técnicas avançadas de web scraping com Python. Se você ainda não viu minha visão geral da biblioteca Beautiful Soup, confira primeiro para obter alguns conhecimentos fundamentais. Web scraping é uma habilidade altamente valiosa, especialmente para trabalho freelance. Este tutorial irá guiá-lo por métodos sofisticados de scraping, usando o Walmart como exemplo. Antes de começarmos, um grande agradecimento ao nosso patrocinador, Bright Data. Eles oferecem ferramentas de proxy que tornam o web scraping avançado muito mais fácil, permitindo que você contorne restrições impostas por sites. Confira o mercado de conjuntos de dados deles para acesso rápido a vários dados. Neste vídeo, vamos cobrir: - Configuração e compreensão da estrutura HTML de uma página da web - Extração de dados usando Beautiful Soup e manipulação de conteúdo dinâmico - Implementação de cabeçalhos para evitar detecção - Análise de dados JSON para scraping eficiente - Uso de proxies com a Bright Data para contornar bloqueios de IP - Tratamento de erros e tentativas no scraping - Armazenamento de dados extraídos e manipulação de várias consultas de pesquisa Se você precisar de ajuda para começar com web scraping, confira meu tutorial original sobre BeautifulSoup: https://youtu.be/GjKQ6V_ViQE?si=f9Xo0ING4fNLhLx2 Links Úteis: Repositório do GitHub com Exemplos de Código: https://github.com/KeithGalli/advanced-scraping Cronograma do Vídeo! 0:00 - Introdução & Visão Geral 1:30 - Identificando a Estrutura HTML para Scraping (do Walmart) 4:26 - Escrevendo Código Python BeautifulSoup para Extrair Informações do Walmart.com 7:22 - Implementando cabeçalhos de requisição modificados para evitar detecção 6:10 - Manipulando Conteúdo Dinâmico 8:00 - Implementando Cabeçalhos de Requisição Modificados para Evitar Detecção (parecer mais humano ao fazer scraping) 9:30 - Analisando Dados JSON Complicados (Usando LLMs para ajudar) 15:28 - Estendendo nosso Código para Coletar Informações sobre Muitos Produtos (Automatizando Pesquisa) 24:45 - Melhorando nosso Código (evitando duplicatas, múltiplos termos de pesquisa, usando uma fila, etc.) 27:20 - Configurando Proxies com a Bright Data (Contornando bloqueios de Endereço IP) 36:35 - Tratamento de Erros e Tentativas 39:36 - Automatizando ações em páginas com Selenium 41:42 - Conclusão & Próximos Passos Espero que você ache este tutorial útil. Se achou, por favor, dê um joinha e inscreva-se no canal para mais tutoriais. Deixe-me saber nos comentários como você planeja usar essas técnicas de web scraping em seus projetos. Aproveite o scraping! ------------------------- Siga-me nas redes sociais! Instagram | https://www.instagram.com/keithgalli/ Twitter | https://twitter.com/keithgalli TikTok | https://tiktok.com/@keithgalli ------------------------- Pratique suas habilidades de ciência de dados com Python Pandas com problemas no StrataScratch! https://stratascratch.com/?via=keith Junte-se ao Exército Python para ter acesso a benefícios! YouTube - https://www.youtube.com/channel/UCq6XkhO5SZ66N04IcPbqNcw/join Patreon - https://www.patreon.com/keithgalli *Eu uso links de afiliados nos produtos que recomendo. Posso ganhar uma comissão de compra ou um bônus de referência pelo uso desses links.
Keith Galli•65.1k visualizações•Há 1 a
21:39
Raspe Qualquer Site em 5 Minutos! Tutorial de Web Scraping
Neste tutorial, vou demonstrar como raspar eficientemente qualquer site em apenas 5 minutos, usando a ferramenta Bright Data Web Unlocker. Este guia foi projetado para fornecer uma abordagem direta para coletar dados de forma eficaz para vários projetos, mantendo uma perspectiva profissional e metódica durante todo o processo. 👉 Inscreva-se na Bright Data e receba um crédito de $15: https://brdta.com/kunalkushwaha ➡️ Conecte-se comigo: https://www.techwithkunal.com ============================================================= Marcos de tempo: 00:00 Introdução 01:56 Desafios com a raspagem de dados 04:13 Introdução ao Bright Data 06:51 Demonstração 15:49 Código em Python 19:37 Considerações finais #desenvolvimentoweb #raspagemdedados #tutorial
Kunal Kushwaha•93.6k visualizações•Há 2 a
9:51:20
Scraping com Python: A Formação Completa
🚀 20$ oferecidos na Bright Data ao criar uma conta com este link: https://brdta.com/docstring Encontre a Bright Data em seu canal no YouTube: @BrightData Aprenda scraping do zero com esta formação completa. Esta formação é realizada com Python, mas toda a teoria do scraping e da contorno de bloqueios pode ser aplicada a qualquer linguagem que permita fazer scraping. ---------------------------------------------------------- PRÉ-REQUISITOS: Para seguir esta formação com Python, você deve dominar os fundamentos da linguagem: https://www.youtube.com/watch?v=LamjAFnybo0 ---------------------------------------------------------- 🔗 Fontes dos scripts https://github.com/DocstringFr/formation-scraping-youtube 🖥️ Crie seu VPS na Infomaniak https://www.infomaniak.com/fr/hebergement/vps-cloud?utm_source=youtube&utm_medium=social&utm_campaign=docstring&utm_term=65aa5df4e7416 🔗 Minha formação completa em Python na Udemy (+60h de formação) ● https://bit.ly/3iGZu9a 🔖 Inscreva-se no Docstring ● https://www.docstring.fr/formules/?utm_source=youtube&utm_campaign=scraping-complet 💬 Junte-se a nós no servidor Discord ● https://www.docstring.fr/discord/?utm_source=youtube&utm_campaign=scraping-complet ---------------------------------------------------------- ===== CAPÍTULOS ===== 00:00:00 Introdução 00:03:13 O programa da formação 00:07:58 Definição de scraping 00:08:56 Os pré-requisitos 00:11:06 Os obstáculos (e a solução) 00:13:20 PARTE 1: as bases do scraping 00:18:26 Recuperar o conteúdo de uma página com requests 00:24:35 Analisar o conteúdo de uma página com BeautifulSoup 00:33:41 Recuperar informações com BeautifulSoup 00:43:03 Analisar a página inicial dos livros 00:54:56 É sua vez! 01:04:32 Exercícios simples: Introdução 01:06:08 Recuperar as categorias com um único livro 01:08:40 Solução 01:32:01 Recuperar os livros avaliados com 1 estrela 01:35:44 Solução 02:08:18 Exercício avançado: Introdução 02:09:08 Enunciado do exercício 02:10:23 Apresentação do Selectolax e Loguru 02:18:04 Preparação de um caderno de encargos 02:28:32 Criação do corpo do script 02:47:46 Recuperação do preço de um livro 03:12:41 Recuperar todas as URLs em uma página 03:24:48 Recuperar a URL da próxima página 03:30:54 Recuperar todas as URLs da livraria 03:38:44 Recuperar o valor total da livraria 03:46:51 Otimização do nosso script com sessões 03:53:09 Conclusão 03:53:59 PARTE 2: contornar os obstáculos 03:55:57 O que diz a lei 03:56:38 Os CGUs 03:59:25 O RGPD 04:00:49 O caso entreparticulares.com VS Leboncoin 04:01:58 Exemplos de scraping lícito e ilícito 04:04:59 O arquivo robots.txt https://robots-txt.com/ 04:09:10 Entrevista com Rony SHALIT https://brightdata.fr/trustcenter https://help.brightdata.com/hc/en-us/articles/11439997100945-Bright-Data-s-Site-Health-Monitor 04:46:29 Os bloqueios técnicos 04:50:43 Os bloqueios voluntários 04:52:04 O bloqueio por limitação de requisições 04:59:18 O bloqueio com o user-agent 05:04:55 Apresentação do Playwright 05:10:46 Usar playwright para exibir o javascript 05:20:14 Interagir com o DOM 05:26:22 Os métodos indispensáveis a conhecer 05:37:45 A solução Bright Data 05:38:43 Visão geral da plataforma 05:45:04 Crie sua conta na Bright Data 05:48:28 Usar a rede de proxy residencial 05:57:59 Usar o desbloqueador da web 06:02:12 Usar o navegador de scraping 06:09:47 PARTE 3: Recuperar dados no AirBnB 06:11:01 Preparação de um scraping ético 06:15:04 Análise do site para preparar o scraping 06:20:44 Criar o projeto e instalar as bibliotecas 06:24:21 Scraping simples com requests 06:29:15 Salvar o HTML no disco 06:34:57 Recuperar o HTML do disco 06:42:39 Recuperar os dados de preço 07:03:49 Executar o script na linha de comando 07:06:11 Scraping avançado com Playwright 07:15:46 Passar por todas as páginas 07:25:09 Usar o navegador de scraping da Bright Data 07:33:44 Automatizar a abertura do depurador 07:39:11 Minimizar a largura de banda 07:43:20 Navegar até a página de pesquisas 07:52:09 Passar para o mês seguinte 08:09:57 Rolar os meses 08:22:14 Recuperar o preço e finalizar o script 08:34:01 PARTE 4: Sistema de alerta e-commerce 08:35:16 As ferramentas utilizadas 08:38:01 Preparação de um scraping ético 08:39:55 Recuperar o HTML com requests 08:52:47 Adicionar as variáveis de ambiente 08:54:57 Usar o Desbloqueador da Web 09:00:09 Manter o histórico dos valores no disco 09:04:45 Comparar o valor atual com o anterior 09:08:17 Adicionar a função de alerta com Pushover 09:11:27 Adicionar o logger 09:17:44 Terminar a função principal 09:28:02 Enviar os arquivos para o VPS 09:32:41 Criar um Cron Job 09:39:17 Remover o aviso com urllib 09:40:45 Adicionar os alertas Sentry 09:50:22 Encerramento
Docstring•135.8k visualizações•Há 2 a
![WEB SCRAPING PYTHON [TUTO PROGRAMAÇÃO COMPLETA] (INICIANTE A AVANÇADO)](https://i.ytimg.com/vi/HCV6nEACQo4/hqdefault.jpg)
1:46:20
WEB SCRAPING PYTHON [TUTO PROGRAMAÇÃO COMPLETA] (INICIANTE A AVANÇADO)
🔥 15$ de crédito gratuito em brightdata.com : https://brdta.com/CodeAvecJonathan O scraping é uma técnica que permite extrair informações de sites da web. Este tutorial de programação sobre web scraping com Python permitirá que você: - Dê seus primeiros passos em scraping (para começar com requests e beautifulsoup) - Aprenda e contorne os mecanismos de proteção contra scraping - Conheça as regras legais relacionadas ao scraping - Crie um projeto avançado que permitirá que você scrape qualquer site. - Utilize a IA (ChatGPT) para ajudá-lo na geração de código. ---------------------------------------------------------- Pré-requisitos: - Conhecer os fundamentos da linguagem Python: https://www.youtube.com/watch?v=oUJolR5bX6g - Instalar o Visual Studio Code: https://code.visualstudio.com/download ---------------------------------------------------------- Os links: 1️⃣ Este vídeo é uma parceria com a Brightdata (solução de scraping profissional), que oferece 15$ de crédito ao acessar este link: https://brdta.com/CodeAvecJonathan (este link não me traz nenhuma comissão, ele apenas permite que você siga este tutorial gratuitamente) 2️⃣ Baixe todos os códigos fonte deste tutorial: https://codeavecjonathan.com/scraping/code-source-scraping-python.zip 3️⃣ Todos os meus cursos pelo melhor preço: https://codeavecjonathan.com/formations ---------------------------------------------------------- O programa: 00:00:00 Introdução 00:01:50 Pré-requisitos 00:02:10 O programa 00:02:31 PARTE 1 - Seus primeiros passos em scraping 00:04:18 Fazer uma requisição HTTP (requests) 00:13:36 Extrair as informações (título + descrição) 00:23:33 Recuperar vários elementos (ingredientes) 00:27:40 Exercício: Etapas de preparação 00:30:22 Dicas para ir mais longe (gere código com ChatGPT / pratique com scrapethissite.com) 00:33:16 PARTE 2 - As proteções contra o scraping 00:36:34 User-agent: se passar por um navegador 00:41:28 Problemas relacionados ao Javascript 00:44:13 Navegação sem cabeça: contornar os problemas relacionados ao Javascript 00:45:42 Soluções de scraping profissional: Rotação de IPs, Proxys, Anti-captcha… 00:48:03 PARTE 3 - O scraping é legal? 00:50:56 PARTE 4 - Projeto de scraping avançado 00:52:23 Sites protegidos: Limites do script atual 00:55:51 As etapas do projeto 00:56:54 Criação da sua conta em BrightData.com 00:58:18 Entender: O WebUnlocker e ScrapingBrowser 00:59:37 Uso do Web Unlocker 01:11:44 Uso do Scraping Browser 01:17:39 Bypass do modo scraping 01:21:22 Extração das informações (título) 01:26:53 Extração das informações (nº avaliações, preço, descrição) 01:37:19 Várias urls, armazenar dados, agendar 01:42:53 Reformular conteúdo com a API ChatGPT 01:45:57 Conclusão ---------------------------------------------------------- Sobre: Desenvolvedor apaixonado com mais de 19 anos de experiência profissional, atualmente sou desenvolvedor freelancer especializado em aplicativos móveis iOS e Android, e servidores WEB. Trabalho remotamente com meus clientes. Neste canal, proponho que você descubra a programação de uma maneira diferente: trago minha pedagogia e minhas técnicas profissionais. O objetivo? Permitir que você aprenda programação, se torne um melhor desenvolvedor, se profissionalize e, quem sabe, mude de vida. Inscreva-se no canal para acessar novos vídeos sobre os seguintes tópicos: - Tutorial de programação (Python, C#, .NET, ...) - Tornar-se desenvolvedor freelancer - Usar IAs generativas (ChatGPT, Midjourney...) Meu perfil Linked-In: https://www.linkedin.com/in/rouxjonathan/ Meu site de freelancer: https://jonathanroux.fr Meu site de cursos: https://codeavecjonathan.com
CodeAvecJonathan•112.8k visualizações•Há 2 a
6:00
Raspagem de Dados com o Interprete de Código ChatGPT: Impressionante !!
Seu Copiloto de Escrita AI Mais Poderoso e Tudo-em-Um: https://hix.ai/?utm=aiandy Agradecimentos ao Hix AI por patrocinar este vídeo. Nossos patrocinadores nos ajudam a crescer o canal e continuar fazendo vídeos melhores para você. Obrigado pelo seu apoio! 00:00 - Introdução 00:22 - PASSO #1 - VÁ PARA O SITE 00:40 - PASSO #2 - ANÁLISE DE DADOS AVANÇADA 01:03 - PASSO #3 - VOLTE PARA O SITE 02:11 - HIX.AI 03:01 - PASSO #4 - 2ª MÉTODO 04:48 - PASSO #5 - 3º EXEMPLO CLIQUE AQUI ↓ Clique Aqui Para Começar a Automação AI: https://skool.com/aimate/about Obtenha Consultoria AI 1-a-1: https://calendly.com/andyhafell/andy? Siga-me no Twitter: https://twitter.com/itsaiandy Meu Boletim de Vídeo AI: https://andyhafell.ck.page/ab4b146797 Servidor Discord de AI #1 do Mundo: https://discord.gg/aTSzxrj6XY Siga no Tiktok: https://www.tiktok.com/@andyhafell Siga no Instagram: https://www.instagram.com/aiandyhafell Siga no Facebook: https://www.facebook.com/Andyhafell Siga no YouTube Shorts: https://www.youtube.com/channel/UCkLB_RfEjSZx567JaPcBRlA Email para Consultas Comerciais: biz@aiandy.ai Bem-vindo ao nosso mais recente tutorial sobre 'Raspagem de Dados com o Interprete de Código ChatGPT: um Divisor de Águas!' 🚀 Neste vídeo, vamos nos aprofundar nas capacidades revolucionárias do interprete de código do ChatGPT e demonstrar como ele transforma o jogo da raspagem de dados. Se você é um iniciante ansioso para aprender sobre os fundamentos da raspagem de dados ou um especialista buscando aproveitar o poder do ChatGPT, este vídeo é para você.
AI Andy•90.1k visualizações•Há 2 a
1:40:20
Web Scraping com Python - Curso com Beautiful Soup
Aprenda a realizar web scraping com Python com Beautiful Soup, uma biblioteca amplamente utilizada. ✏️ Curso criado por Gustavo Juantorena. - Twitter: https://twitter.com/GJuantorena - GitHub: https://github.com/GEJ1 - LinkedIn: https://ar.linkedin.com/in/gustavo-juantorena 🔗 Código do curso: https://github.com/GEJ1/web_scraping_freecodecamp ⭐️ Conteúdo do curso ⭐️ ⌨️ (00:00:00) Introdução ⌨️ (00:01:53) Roteiro ⌨️ (00:05:58) APIs ⌨️ (00:09:28) Conceitos básicos sobre a Web ⌨️ (00:18:26) DOM (Modelo de Objeto de Documento) ⌨️ (00:22:08) Web Scraping com Python (Introdução) ⌨️ (00:23:39) Fluxo de trabalho em Web Scraping ⌨️ (00:25:41) Praticando com ScrapePark ⌨️ (00:28:09) Uso de APIs ⌨️ (00:38:42) Uso de BeautifulSoup ⌨️ (00:45:04) Métodos find() e find_all() ⌨️ (00:49:04) text vs get_text ⌨️ (00:50:04) Encontrar atributos no HTML ⌨️ (00:52:27) Seleção por atributos ⌨️ (00:54:43) Baixar imagens automaticamente ⌨️ (01:00:21) Etiquetas "iframe" e "table" ⌨️ (01:07:02) Extrair dados de produtos ⌨️ (01:12:06) Mudanças que dependem da URL ⌨️ (01:16:13) Buscar um dado em algum lugar da página ⌨️ (01:20:19) Navegando pela árvore ⌨️ (01:25:13) Controle de exceções ⌨️ (01:31:11) Armazenamento de dados ⌨️ (01:37:25) Bônus: Exercícios 💻 Com freeCodeCamp você pode aprender a programar gratuitamente e alcançar seu objetivo de conseguir um emprego como desenvolvedor: https://www.freecodecamp.org/espanol/ ✍️ Leia centenas de artigos de programação gratuitamente: https://www.freecodecamp.org/espanol/news/ 🎥 Inscreva-se em nosso canal para encontrar mais vídeos e cursos de programação: https://www.youtube.com/freecodecampespanol?sub_confirmation=1 🎉 Muito obrigado aos nossos Campeões e Colaboradores: 👾 Miguel Carrero 👾 Luisana Amarista 👾 Prada Pragrama 👾 Isaac Alcides Silva 👾 Gilberto Serrato 👾 Gabriela Borba 👾 Rubén Sanchez 👾 Diego Antonio Nieto 👾 Hector Iarre 👾 Nicolás Costas 👾 Felipe Nuñez
freeCodeCamp Español•134.3k visualizações•Há 2 a
25:23
Extraindo Dados de um Site Real | Web Scraping em Python
Faça meu Curso Completo de Python Aqui: https://bit.ly/48O581R Neste tutorial de Web Scraping, vamos extrair dados de um site real! Código do GitHub: https://bit.ly/442kIVi ____________________________________________ INSCREVA-SE! Você quer se tornar um Analista de Dados? É sobre isso que este canal se trata! Meu objetivo é ajudar você a aprender tudo o que precisa para começar sua carreira ou até mesmo mudar sua carreira para Análise de Dados. Certifique-se de se inscrever para não perder nenhum conteúdo! ____________________________________________ RECURSOS: Cursos do Coursera: 📖Certificação de Analista de Dados do Google: https://coursera.pxf.io/5bBd62 📖Análise de Dados com Python - https://coursera.pxf.io/BXY3Wy 📖Especialização em Análise de Dados da IBM - https://coursera.pxf.io/AoYOdR 📖Visualização de Dados com Tableau - https://coursera.pxf.io/MXYqaN Cursos do Udemy: 📖Python para Ciência de Dados - https://bit.ly/3Z4A5K6 📖Estatísticas para Ciência de Dados - https://bit.ly/37jqDbq 📖SQL para Analistas de Dados (SSMS) - https://bit.ly/3fkqEij 📖Tableau A-Z - http://bit.ly/385lYvN *Por favor, note que posso ganhar uma pequena comissão por qualquer compra através desses links - Obrigado por apoiar o canal!* ____________________________________________ TORNE-SE UM MEMBRO - Quer apoiar o canal? Considere se tornar um membro! Faço transmissões ao vivo mensais e você ganha alguns Emojis incríveis para usar no chat e nos comentários! https://www.youtube.com/channel/UC7cs8q-gJRlGwj4A8OmCmXg/join ____________________________________________ Sites: 💻Site: AlexTheAnalyst.com 💾GitHub: https://github.com/AlexTheAnalyst 📱Instagram: @Alex_The_Analyst ____________________________________________ *Todas as opiniões ou declarações neste vídeo são minhas e não refletem a opinião da empresa para a qual trabalho ou trabalhei anteriormente*
Alex The Analyst•775.6k visualizações•Há 2 a
4:37:09
Curso Scrapy – Web Scraping em Python para Iniciantes
O Curso para Iniciantes em Scrapy ensinará tudo o que você precisa saber para começar a raspar sites em grande escala usando Python Scrapy. O curso abrange: - Criando sua primeira aranha Scrapy - Raspando sites e coletando dados de cada página - Limpando dados com Itens e Pipelines de Itens - Salvando dados em arquivos CSV, bancos de dados MySQL e Postgres - Usando agentes de usuário e cabeçalhos falsos para evitar bloqueios - Usando proxies para aumentar sua raspagem de dados sem ser banido - Implantando seu raspador na nuvem e agendando para rodar periodicamente ✏️ Curso criado por Joe Kearney. ⭐️ Recursos ⭐️ Recursos do Curso - Documentação do Scrapy: https://docs.scrapy.org/en/latest/ - Guia do Curso: https://thepythonscrapyplaybook.com/freecodecamp-beginner-course/ - Github do Curso: https://github.com/orgs/python-scrapy-playbook/repositories - O Playbook do Python Scrapy: https://thepythonscrapyplaybook.com/ Ambientes de Nuvem - Scrapyd: https://github.com/scrapy/scrapyd - ScrapydWeb: https://github.com/my8100/scrapydweb - Monitor e Agendador ScrapeOps: https://scrapeops.io/monitoring-scheduling/ - Scrapy Cloud: https://www.zyte.com/scrapy-cloud/ Proxies - Ferramenta de Comparação de Planos de Proxy: https://scrapeops.io/proxy-providers/comparison/free-proxy-providers - Agregador de Proxies ScrapeOps: https://scrapeops.io/proxy-api-aggregator/ - Smartproxy: https://smartproxy.com/deals/proxyservers/ips ❤️ Experimente cursos interativos de Python que amamos, diretamente no seu navegador: https://scrimba.com/freeCodeCamp-Python (Tornado possível por uma concessão de nossos amigos da Scrimba) ⭐️ Conteúdos ⭐️ ⌨️ (0:00:00) Parte 1 - Introdução ao Scrapy e ao Curso ⌨️ (0:08:22) Parte 2 - Configurando Ambiente Virtual e Scrapy ⌨️ (0:16:28) Parte 3 - Criando um Projeto Scrapy ⌨️ (0:28:17) Parte 4 - Construa sua Primeira Aranha Scrapy ⌨️ (0:55:09) Parte 5 - Construa Aranha de Descoberta e Extração ⌨️ (1:20:11) Parte 6 - Limpando Dados com Pipelines de Itens ⌨️ (1:44:19) Parte 7 - Salvando Dados em Arquivos e Bancos de Dados ⌨️ (2:04:33) Parte 8 - Agentes de Usuário Falsos e Cabeçalhos de Navegador ⌨️ (2:40:12) Parte 9 - Rotacionando Proxies e APIs de Proxy ⌨️ (3:18:12) Parte 10 - Executando Aranhas na Nuvem com Scrapyd ⌨️ (4:03:46) Parte 11 - Executando Aranhas na Nuvem com ScrapeOps ⌨️ (4:20:04) Parte 12 - Executando Aranhas na Nuvem com Scrapy Cloud ⌨️ (4:30:36) Parte 13 - Conclusão e Próximos Passos 🎉 Agradecimentos aos nossos apoiadores Campeões e Patrocinadores: 👾 davthecoder 👾 jedi-or-sith 👾 南宮千影 👾 Agustín Kussrow 👾 Nattira Maneerat 👾 Heather Wcislo 👾 Serhiy Kalinets 👾 Justin Hual 👾 Otis Morgan -- Aprenda a programar de graça e consiga um emprego como desenvolvedor: https://www.freecodecamp.org Leia centenas de artigos sobre programação: https://freecodecamp.org/news
freeCodeCamp.org•603.6k visualizações•Há 3 a
![🛠️ [Tuto] Os 13 Tipos de Seletores no Web Scraper (Clique em Elemento / Rolagem para Baixo / Imagem...) 🚀](https://i.ytimg.com/vi/KELmMwSGNPI/hqdefault.jpg)
15:27
🛠️ [Tuto] Os 13 Tipos de Seletores no Web Scraper (Clique em Elemento / Rolagem para Baixo / Imagem...) 🚀
Neste vídeo, vamos explorar 7 dos 13 seletores do Web Scraper, uma ferramenta poderosa para extrair texto, links, imagens e automatizar a navegação por meio de cliques e rolagem automática. Os 6 outros seletores serão abordados em um próximo vídeo. 📌 No programa: ✔️ Compreender os seletores do Web Scraper ✔️ Automatizar a rolagem e os cliques para extrair mais dados ✔️ Extrair texto, links, imagens e código HTML ✔️ Usar seletores CSS e Regex para uma extração precisa 🔗 Recursos e Ofertas Especiais: 🎯 Obtenha seus 100 primeiros leads B2B gratuitos → https://scrap.id/s/1xY 📩 Precisa de um serviço de Web Scraping? Entre em contato → fdufaurboidin@gmail.com 🌐 Sites utilizados no vídeo: 📌 Canal do YouTube Marketing Mania → https://www.youtube.com/@MarketingMania/videos 📌 eBay (exemplo de scraping de imagens) → https://www.ebay.fr/sch/i.html?_nkw=chaussures+homme+42&_sop=12&_ipg=240&LH_PrefLoc=1&rt=nc&_pgn=1 📌 Capítulos do vídeo: 01:13 - Seletor "Elemento" 03:09 - Seletor "Rolagem de Elemento para Baixo" 04:07 - Seletor "Texto" 06:23 - Seletor "Link" 08:12 - Seletor "HTML" 12:00 - Seletor "Clique em Elemento" 14:11 - Seletor "Imagem" 💡 Regex utilizada para extrair o número de likes: php-template Copiar Modificar \d+\s?\d*(?= outros| cliques) 🔔 Se este vídeo foi útil para você, não esqueça de curtir 👍, comentar 💬 e se inscrever 🔥 ! #WebScraper #Scraping #WebScraping #Automatização #ExtraçãoDeDados #SEO #MarketingDigital #Python
François Dufaur-Boidin•6.9k visualizações•Há 3 a
![[Tuto]: A Extensão Chrome Número 1 em Web Scraping (Web Scraper)](https://i.ytimg.com/vi/b5INLUsgCy8/hqdefault.jpg)
14:28
[Tuto]: A Extensão Chrome Número 1 em Web Scraping (Web Scraper)
🚀 Descubra a extensão Web Scraper para extrair dados facilmente! 🚀 Com mais de 500.000 usuários, o Web Scraper é a extensão Chrome mais popular para web scraping. Mas por que tanto sucesso? Neste vídeo, analisamos suas forças, suas limitações e a comparamos com o Octoparse para determinar qual é a melhor ferramenta para seus projetos de extração de dados. 🔹 O que você vai aprender: ✅ Tutorial completo para fazer scraping de um site com o Web Scraper ✅ Criação de um sitemap para automação ✅ Implementação de paginação e extração de dados ✅ Navegação para páginas detalhadas para recuperar mais informações ✅ Comparação Web Scraper vs Octoparse: qual escolher de acordo com suas necessidades? 📌 Recursos Mencionados: 🔗 Obtenha seus 100 primeiros leads 100% Grátis: https://scrap.id/s/1xY 🛠 Baixar Web Scraper (Extensão Chrome): https://www.webscraper.io 🔗 Precisa de coaching em web scraping? Entre em contato comigo por email: fdufaurboidin@gmail.com 🛠 Baixar Octoparse (alternativa poderosa): https://bit.ly/3F3r3rl (20% de desconto com o código REP20) ⏳ Timestamps: 00:00 Introdução – Por que o Web Scraper é a extensão nº 1? 01:30 Tutorial Web Scraper: Scraping de um site de atacadistas 03:15 Criação do Sitemap e configuração da paginação 06:20 Extração de preços, nomes e URLs dos produtos 08:45 Navegação para páginas detalhadas para recuperar mais dados 10:50 Adição de imagens, notas e número de avaliações 12:30 Execução do script e exportação dos dados para Excel 13:40 Comparação: Web Scraper vs Octoparse – Qual é o melhor? 16:00 As forças e fraquezas do Web Scraper 18:20 Por que o Octoparse continua mais eficiente em certos aspectos? 20:00 Conclusão – Qual ferramenta escolher de acordo com suas necessidades? 👍 Curta & Inscreva-se para mais tutoriais de web scraping! Você usa Web Scraper ou Octoparse? Compartilhe sua opinião nos comentários! #WebScraping #NoCode #WebScraper #Octoparse #DataExtraction #Automation
François Dufaur-Boidin•62.4k visualizações•Há 4 a
13:30
Como Raspagem de Sites Sem Código | O Tutorial Definitivo
🚀 Confira o tutorial completo: https://s.bardeen.ai/scraper-bardeen-automation 🔻 Baixe o Bardeen: https://s.bardeen.ai/bardeen-ai-extension 🔙 Como raspar sites de uma lista de links: https://s.bardeen.ai/scrape-data-from-links 🆕 Assista ao Novo Tutorial Definitivo de Raspagem: https://youtu.be/26Gt_9kFVok ❗️Atualização Apenas um aviso rápido para aqueles que estão seguindo este tutorial sobre as capacidades de raspagem da web do Bardeen AI! 🚀 Houve algumas atualizações na interface desde que este vídeo foi postado: 1️⃣ O nome da ação mudou de "Raspar Dados em Uma Ou Mais URLs" para "Raspar dados em segundo plano" para raspar dados de uma lista de links em segundo plano. 2️⃣ Não é mais necessário usar a ação "encontrar todos os links no texto" para fazer a ação de raspagem em segundo plano funcionar. 👍 3️⃣ A interface de mapeamento de campos foi atualizada um pouco. Para as informações mais recentes, confira a documentação aqui: https://s.bardeen.ai/scraper-bardeen-automation 4️⃣ O argumento "Pergunte-me toda vez" agora parece diferente, então consulte este tutorial escrito para as informações mais atualizadas: https://s.bardeen.ai/getting-started 🤖 Sobre o Bardeen Bardeen é um aplicativo de automação para substituir suas tarefas repetitivas com um único atalho e controlar seus aplicativos da web de qualquer lugar. Explore nossas integrações com seus aplicativos favoritos e centenas de playbooks pré-construídos que ajudam você a manter o fluxo! 🔍️ Explore Playbooks https://s.bardeen.ai/--learn_playbooks 🐦 https://s.bardeen.ai/1_twitter 🕴 https://s.bardeen.ai/1_linkedin 🕺 https://s.bardeen.ai/-tiktok ℹ️ Precisa de ajuda? Junte-se à nossa comunidade no Slack https://s.bardeen.ai/1_slack 📖 Capítulos do Vídeo: 0:00 - Introdução 0:21 - Fundamentos da raspagem de web 1:37 - Como construir automações com raspador 6:03 - Raspador profundo 10:26 - Enriquecimento de dados 12:44 - Notas finais
Bardeen•58.0k visualizações•Há 4 a
7:36
Guia para Iniciantes em Web Scraping com Python - Tudo o Que Você Precisa Saber
A web está cheia de dados. Muitos e muitos dados. Dados prontos para serem extraídos. Mas ir manualmente a um site e copiar e colar os dados em uma planilha ou banco de dados é tedioso e consome tempo. Entre o web scraping! Este guia mostrará como você pode começar a extrair dados da web à vontade em 8 minutos! _____________________________ 📲🔗🔗📲 LINKS IMPORTANTES 📲🔗🔗📲 _____________________________ • 💻PÁGINA DO PROJETO💻 - https://github.com/gigafide/basic_python_scraping/ • Python 3 - https://www.python.org/downloads/ • BeautifulSoup - https://www.crummy.com/software/BeautifulSoup/bs4/doc/ • Site de Teste de Scraper - http://quotes.toscrape.com/ • Thonny - https://thonny.org/ _____________________________ 📢📢📢📢 Siga 📢📢📢📢 ____________________________ https://redd.it/5o3tp8 https://www.instagram.com/tinkernut_ftw https://www.twitter.com/tinkernut https://www.facebook.com/tinkernut 00:00 Introdução 00:42 Configuração 01:16 Contexto 02:23 Questões Legais 02:51 Escrevendo o Código 06:47 Conclusão
Tinkernut•466.0k visualizações•Há 4 a
17:01
Tutorial de Beautiful Soup 4 #1 - Web Scraping Com Python
Bem-vindo a uma nova série de tutoriais sobre Beautiful Soup 4! Beautiful Soup 4 é um módulo de web scraping que permite obter informações de documentos HTML e modificá-los também. É muito versátil e há muitas coisas para abordar e neste vídeo, farei uma introdução/passo a passo sobre Beautiful Soup 4. 💻 AlgoExpert é a plataforma de preparação para entrevistas de codificação que usei para me sair bem nas minhas entrevistas da Microsoft e Shopify. Confira e obtenha um desconto na plataforma usando o código "techwithtim" https://algoexpert.io/techwithtim 📄 Recursos 📄 Documentação do Beautiful Soup: https://www.crummy.com/software/BeautifulSoup/bs4/doc/ Código Neste Vídeo: https://github.com/techwithtim/Beautiful-Soup-Tutorial Corrigir Pip (Mac): https://www.youtube.com/watch?v=E-WhAS6qzsU Corrigir Pip (Windows): https://www.youtube.com/watch?v=AdUZArA-kZw&t=7s Link NewEgg: https://www.newegg.ca/gigabyte-geforce-rtx-3080-ti-gv-n308tgaming-oc-12gd/p/N82E16814932436?Description=3080&cm_re=3080-_-14-932-436-_-Product 📚 Playlist: https://www.youtube.com/watch?v=gRLHr664tXA&list=PLzMcBGfZo4-lSq2IDrA6vpZEV92AmQfJK ⭐️ Marcação de Tempo ⭐️ 00:00 | Visão Geral 01:26 | Configuração do Beautiful Soup 4 02:51 | Lendo Arquivos HTML 05:50 | Encontrar Por Nome de Tag 07:45 | Encontrar Todos Por Nome de Tag 09:44 | Analisando HTML de Sites 12:50 | Localizando Texto 13:53 | Estrutura da Árvore do Beautiful Soup ◼️◼️◼️◼️◼️◼️◼️◼️◼️◼️◼️◼️◼️◼️ 💰 Cursos & Merch 💰 💻 Os Fundamentos da Programação com Python: https://tech-with-tim.teachable.com/p/the-fundamentals-of-programming-with-python 👕 Mercadorias: https://teespring.com/stores/tech-with-tim-merch-shop 🔗 Mídias Sociais 🔗 📸 Instagram: https://www.instagram.com/tech_with_tim 📱 Twitter: https://twitter.com/TechWithTimm ⭐ Discord: https://discord.gg/twt 📝 LinkedIn: https://www.linkedin.com/in/tim-ruscica-82631b179/ 🌎 Site: https://techwithtim.net 📂 GitHub: https://github.com/techwithtim 🔊 Podcast: https://anchor.fm/tech-with-tim 🎬 Meu Equipamento do YouTube 🎬 🎥 Câmera Principal (EOS Canon 90D): https://amzn.to/3cY23y9 🎥 Câmera Secundária (Panasonic Lumix G7): https://amzn.to/3fl2iEV 📹 Lente Principal (EFS 24mm f/2.8): https://amzn.to/2Yuol5r 🕹 Tripé: https://amzn.to/3hpSprv 🎤 Microfone Principal (Rode NT1): https://amzn.to/2HrZxXc 🎤 Microfone Secundário (Sistema de Lapela Sem Fio Synco): https://amzn.to/3e07Swl 🎤 Terceiro Microfone (Rode NTG4+): https://amzn.to/3oi0v8Z ☀️ Luzes: https://amzn.to/2ApeiXr ⌨ Teclado (Daskeyboard 4Q): https://amzn.to/2YpN5vm 🖱 Mouse (Logitech MX Master): https://amzn.to/2HsmRDN 📸 Webcam (Logitech 1080p Pro): https://amzn.to/2B2IXcQ 📢 Alto-falante (Beats Pill): https://amzn.to/2XYc5ef 🎧 Fones de Ouvido (Bose Quiet Comfort 35): https://amzn.to/2MWbl3e 🌞 Lâmpada (BenQ E-reading Lamp): https://amzn.to/3e0UCr8 🌞 Lâmpada Secundária (BenQ Screenbar Plus): https://amzn.to/30Dtafi 💻 Monitor (BenQ EX2780Q): https://amzn.to/2HsmUPZ 💻 Monitor (LG Ultrawide 34WN750): https://amzn.to/3dSD7tS 🎙 Braço de Microfone (Rode PSA 1): https://amzn.to/30EZw9m 🎚 Interface de Áudio (Focusrite Scarlet 4i4): https://amzn.to/2TjXsih 💸 Doações 💸 💵 Doações Únicas: https://www.paypal.com/donate?hosted_button_id=CU9FV329ADNT8 💰 Patreon: https://www.patreon.com/techwithtim ◼️◼️◼️◼️◼️◼️◼️◼️◼️◼️◼️◼️◼️◼️ ⭐️ Tags ⭐️ - Tech Com Tim - Beautiful Soup 4 - Web Scraping - HTML - Análise de HTML - Python ⭐️ Hashtags ⭐️ #TechComTim #BeautifulSoup4
Tech With Tim•555.9k visualizações•Há 4 a
3:00:40
Curso de Selenium para Iniciantes - Bots de Web Scraping, Automação de Navegador, Testes (Tutorial)
Aprenda Selenium construindo um bot de web scraping em Python. Selenium é uma poderosa ferramenta de automação web que pode ser usada para automação de navegador, testar código front-end e criar bots de web scraping. 💻 Código: https://github.com/jimdevops19/SeleniumSeries ✏️ Curso desenvolvido por JimShapedCoding. Confira seu canal: https://www.youtube.com/channel/UCU8d7rcShA7MGuDyYH1aWGg ⭐️ Recursos adicionais ⭐️ 🔗 Download do Python: https://www.python.org/downloads 🔗 Download do Pycharm: https://www.jetbrains.com/pycharm/download 🔗 Documentação do Selenium: https://selenium-python.readthedocs.io/ 🔗 Copiado e colado durante o vídeo: ‣ https://www.seleniumeasy.com/test/jquery-download-progress-bar-demo.html (Seção 1&2) ‣ https://www.seleniumeasy.com/test/basic-first-form-demo.html (Seção 3) 🔗 Site de download do Chromedriver: https://chromedriver.storage.googleapis.com/index.html 🔗 Todos os waits explícitos: https://selenium-python.readthedocs.io/waits.html 🔗 Meu site pessoal para trechos de código: http://jimshapedcoding.com ❤️ Experimente cursos interativos de Python que amamos, diretamente no seu navegador: https://scrimba.com/freeCodeCamp-Python (Tornado possível por uma concessão de nossos amigos da Scrimba) ⭐️ Conteúdos do Curso ⭐️ ⌨️ (0:00:00) Introdução aos conceitos básicos ⌨️ (0:16:44) Explícito vs Implícito ⌨️ (0:28:11) Enviando Teclas & Seletor CSS ⌨️ (0:43:42) Estruturando um Projeto de Bot ⌨️ (1:03:13) Pesquisa de Ofertas ⌨️ (1:44:38) Filtrações de Reserva ⌨️ (2:07:24) Execução a partir de um CLI ⌨️ (2:21:31) Relatório de Ofertas 🎉 Agradecimentos aos nossos apoiadores Campeões e Patrocinadores: 👾 Wong Voon jinq 👾 hexploitation 👾 Katia Moran 👾 BlckPhantom 👾 Nick Raker 👾 Otis Morgan 👾 DeezMaster 👾 AppWrite -- Aprenda a programar de graça e consiga um emprego como desenvolvedor: https://www.freecodecamp.org Leia centenas de artigos sobre programação: https://freecodecamp.org/news
freeCodeCamp.org•932.5k visualizações•Há 4 a
16:27
Tutorial de Web Scraping | Extração de Dados de Websites para Excel | Extensão Web Scraper do Chrome
Precisa de Ajuda com Extração de Dados? Contrate um Freelancer: https://rafys.net/HireAWebScraper Obtenha o Web Scraper Octoparse: https://rafys.net/Octoparse Extensão do Google Chrome: https://chrome.google.com/webstore/detail/web-scraper-free-web-scra/jnhgnonknehpejjnehehllkliplmbmhn Se você está enfrentando dificuldades para extrair dados de qualquer website, pode contratar alguém do Fiverr para obter todos os dados extraídos de qualquer site. Você encontrará profissionais que escrevem scripts personalizados para extrair dados de qualquer website. Dica: Antes de contratar qualquer freelancer, por favor, passe algum tempo lendo algumas das avaliações de seus clientes anteriores. Isso ajudará você a aprender mais sobre o freelancer e a encontrar o melhor para o seu projeto. Contrate um Freelancer: https://rafys.net/HireAWebScraper ----------------------------------- Se você achou o Tutorial de Web Scraping útil, por favor, curta este vídeo. E, confira outras ferramentas que uso para operar e crescer meu negócio online. 🟢 FERRAMENTAS QUE RECOMENDO: 👉 MÍDIAS SOCIAIS: 1. Greatly Social: https://rafys.net/GreatlySocial (Gratuito Para Sempre) 2. Crowdfire: https://rafys.net/Crowdfire 👉 DOMÍNIO E HOSPEDAGEM WEB: 1. Namecheap: https://rafys.net/NameCheap 2. Hostinger: https://rafys.net/Hostinger (Código de Desconto AZRAFY) 3. Bluehost: https://rafys.net/Bluehost 👉 CRESÇA SEU NEGÓCIO: 1. Fiverr: https://rafys.net/Fiverr (Contrate Freelancers, faça seu trabalho) 2. Upwork: https://rafys.net/Upwork 3. Appsumo: https://rafys.net/Appsumo (DESCONTOS & OFERTAS) 4. Envato Elements: https://rafys.net/EnvatoElements (Uma plataforma para todas as necessidades criativas) 5. Creative Fabrica: https://rafys.net/CreativeFabrica (Fontes Premium, Gráficos, Artesanato & Mais) 6. Canva: https://rafys.net/canva (Designs para Mídias Sociais) Loom: https://rafys.net/loom (Gravar Tela do Computador) 👉 GERAÇÃO DE LEADS & EMAIL MARKETING: 1. SalesQL: https://rafys.net/SalesQL (Encontre Informações de Contato de Leads) 2. Hunter: https://rafys.net/hunter 3. Sendinblue: https://rafys.net/SendinBlue (Email Marketing) 👉 APRENDER & MELHORIA: 1. Skillshare: https://rafys.net/Skillshare (Curso Premium gratuito por 30 dias) 2. Grammarly: https://rafys.net/Grammarly (Escrita em inglês sem erros) 👉 FERRAMENTAS DE WEBSITE: 1. Dorik: https://rafys.net/Dorik (Construtor de Websites Sem Código) 2. Elementor: https://rafys.net/Elementor 3. 10Web Booster: https://rafys.net/10WebBooster (Otimização de Website) 👉 MÉTODOS DE PAGAMENTO: 1. Wise: https://rafys.net/Wise 2. Payoneer: https://rafys.net/Payoneer ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ * As informações nos vídeos e os recursos disponíveis para download/visualização através deste Canal do YouTube são apenas para fins educacionais e informativos. **Ao fazer uma compra através de qualquer um dos links de afiliados acima, eu (Azharul Rafy) recebo uma comissão muito pequena sem custo adicional para você. Isso me ajuda a continuar minha missão de fornecer educação de qualidade a você. Obrigado!
Azharul Rafy•886.9k visualizações•Há 4 a
12:46
Web Scraping ITA - Tutorial Beautiful Soup Python
Encontre ofertas imperdíveis criando um Bot que navega na web automaticamente graças ao Beautiful Soup, uma biblioteca Python muito popular para web scraping. 👩🏻💻 Torne-se um Desenvolvedor Web com a Epicode! https://epicode.com/it/landing-web-developer-a/?utm_source=youtube&utm_medium=video&utm_campaign=pitone 📌 PARTIDA IVA com Fiscozen: consultoria GRÁTIS e 50€ de desconto ⏩ https://www.fiscozen.it/invitoPITONEPROGRAMMATORE50 🔖 Compre meu curso de Python para Iniciantes com Preço Descontado! https://www.pitoneprogrammatore.com Tutorial Python https://youtu.be/zFA4pctRR1g Tutorial HTML e CSS https://youtu.be/TxcJ2drr554
PitoneProgrammatore•59.3k visualizações•Há 5 a
1:08:23
Web Scraping com Python - Curso Intensivo de Beautiful Soup
Aprenda como realizar web scraping com Python usando a biblioteca Beautiful Soup. ✏️ Tutorial de JimShapedCoding. Confira seu canal no YouTube: https://www.youtube.com/channel/UCU8d7rcShA7MGuDyYH1aWGg 🔗 Você pode obter trechos de código aqui: https://github.com/jimdevops19/codesnippets/tree/main/Python%20Web%20Scraping ❤️ Experimente cursos interativos de Python que amamos, diretamente no seu navegador: https://scrimba.com/freeCodeCamp-Python (Tornado possível por uma concessão de nossos amigos da Scrimba) ⭐️ Conteúdos do Curso ⭐️ Web Scraping Local: ⌨️ (00:00) Estrutura Básica de HTML, Explicação das Tags HTML ⌨️ (05:35) Instalação de Pacotes ⌨️ (07:23) Uso de Scraping, arquivos locais ⌨️ (12:41) Métodos find & find_all() do Beautiful Soup ⌨️ (16:22) Ferramenta de Inspeção do Navegador ⌨️ (18:30) Capturando todos os Preços, Projeto Básico de Scraping Web Scraping de Sites: ⌨️ (24:48) Usando a Biblioteca Requests para ver o HTML de um Site ⌨️ (30:10) Scraping de um Site de Produção, Melhores práticas para extrair informações ⌨️ (44:05) Percorrendo objetos similares de soup.find_all() Adição de Recursos: ⌨️ (48:26) Embelezando o parágrafo de Empregos ⌨️ (54:05) Filtragem de Empregos por habilidades possuídas ⌨️ (57:45) Configurando o Projeto para fazer scraping a cada 10 minutos ⌨️ (1:01:53) Armazenando o parágrafo de empregos em arquivos de texto
freeCodeCamp.org•1.8M visualizações•Há 5 a
6:01
O que é Web Scraping?
🔎 Obter grandes quantidades de dados a partir de sites web? Agora é possível com o Web scraping! Neste vídeo, descubra este método automático, para que ele pode servir e as ferramentas necessárias para sua utilização. 🚀 Quer se tornar um mestre em Data Science? Analista de Dados? Cientista de Dados? Engenheiro de Dados? 💥 Encontre o curso ideal para você com a DataScientest 👉 https://datascientest.com/ Cientista de Dados: https://datascientest.com/formation-data-scientist Engenheiro de Dados: https://datascientest.com/formation-data-engineer Analista de Dados: https://datascientest.com/formation-data-analyst ✅ Não hesite em se inscrever online! https://datascientest.com/processus-inscription 💡 Você quer descobrir outras dicas de Dados & IA? 👉 Visite nosso Blog: https://datascientest.com/blog-data-ia-actualites
Liora•18.6k visualizações•Há 5 a
1:13:03
Tutorial abrangente de web scraping com Python e Beautiful Soup! (find/find_all, seleção CSS, raspar tabela)
Pratique suas habilidades em ciência de dados com Python Pandas com problemas no StrataScratch! https://stratascratch.com/?via=keith Neste vídeo, percorremos o web scraping em Python usando a biblioteca Beautiful Soup. Começamos com uma breve introdução ao HTML e CSS e discutimos o que é web scraping. Em seguida, começamos a entender os fundamentos da biblioteca Beautiful Soup. Isso inclui como carregar uma página da web, os comandos básicos que você precisa saber, como find e find_all, capturando strings de elementos HTML, etc. A seção final deste tutorial é uma série de exercícios onde você pode praticar suas habilidades. Nesta seção, raspamos uma página da web em busca de links, aprendemos como raspar uma tabela e carregá-la em um dataframe do pandas, e vemos como você pode raspar e baixar uma imagem da web. Espero que você goste! Estou pensando em fazer vídeos futuros sobre coisas mais complexas que você pode fazer com web scraping, bem como outras bibliotecas úteis, como Selenium e Scrapy. Inscreva-se para não perder esses vídeos. Junte-se ao Exército Python para ter acesso a benefícios! YouTube - https://www.youtube.com/channel/UCq6XkhO5SZ66N04IcPbqNcw/join Patreon - https://www.patreon.com/keithgalli --------------------- Recursos usados neste vídeo Página da web simples: https://keithgalli.github.io/web-scraping/example.html Página da web de exemplo: https://keithgalli.github.io/web-scraping/webpage.html Link para o código-fonte: https://github.com/KeithGalli/web-scraping Documentação do Beautiful Soup: https://www.crummy.com/software/BeautifulSoup/bs4/doc/ Referência de Seletores CSS: https://www.w3schools.com/cssref/css_selectors.asp --------------------- Saiba mais sobre HTML/CSS @Traversy Media Curso Intensivo de HTML: https://youtu.be/UB1O30fR-EE @Traversy Media Curso Intensivo de CSS: https://youtu.be/yfoY53QXEnI Codecademy: https://www.codecademy.com/catalog/language/html-css --------------------- Cronograma do vídeo! 0:00 - Introdução & Visão Geral do Vídeo 1:09 - O que é web scraping? 3:51 - Introdução ao HTML Usando a biblioteca Beautiful Soup (5:29) 6:31 - Carregando uma página da web (biblioteca requests) 8:21 - Começando a raspar 9:18 - Métodos find & find_all 16:00 - Encontrando texto/string específica em nosso HTML (regex) 18:38 - Método select (seleções de caminho CSS) 25:55 - Capturando a string/texto de um elemento HTML 28:17 - Obtendo uma propriedade de um elemento HTML (href, src, id, class, etc) 29:41 - Navegação no código (pais, filhos, irmãos) Vamos praticar nossas habilidades! (33:57) 35:53 - Exercício #1: Capturar todos os links sociais na página da web de 3 maneiras diferentes 42:09 - Exercício #2: Raspar uma tabela HTML em um Dataframe do Pandas 53:09 - Exercício #3: Capturar todos os fatos divertidos que contêm a palavra “é” 57:59 - Exercício #4: Usar Beautiful Soup para ajudar a baixar uma imagem de uma página da web 1:04:20 - Exercício #5: Resolver o desafio misterioso!!! --------------------- Siga-me nas redes sociais! Instagram | https://www.instagram.com/keithgalli/ Twitter | https://twitter.com/keithgalli --------------------- Se você está curioso para aprender como faço meus tutoriais, confira este vídeo: https://youtu.be/LEO4igyXbLs Aprenda habilidades de dados com exercícios práticos e tutoriais no Datacamp! https://datacamp.pxf.io/c/3588040/1012793/13294 *Eu uso links de afiliados nos produtos que recomendo. Posso ganhar uma comissão de compra ou um bônus de referência pelo uso desses links.
Keith Galli•347.7k visualizações•Há 5 a
11:41
Tutorial de Selenium em Python #1 - Web Scraping, Bots e Testes
Este tutorial de selenium é projetado para iniciantes aprenderem como usar o módulo selenium do python para realizar web scraping, testes na web e criar bots para websites. Selenium é uma estrutura de automação que permite interagir com websites usando algo chamado driver da web. Como corrigir o Pip: https://www.youtube.com/watch?v=AdUZArA-kZw Download do Chrome Web-driver: https://sites.google.com/a/chromium.org/chromedriver/downloads Documentação do Selenium: https://selenium-python.readthedocs.io/ Playlist: https://www.youtube.com/watch?v=Xjv1sY630Uc&list=PLzMcBGfZo4-n40rB1XaJ0ak1bemvlqumQ Inscreva-se no meu segundo canal para podcasts semanais! https://www.youtube.com/channel/UCSATlCAUi7R0Ik-wsZb2gOA ◾◾◾◾◾ 💻 Inscreva-se no Fundamentos da Programação com Python https://tech-with-tim.teachable.com/p/the-fundamentals-of-programming-with-python 📸 Instagram: https://www.instagram.com/tech_with_tim 🌎 Website https://techwithtim.net 📱 Twitter: https://twitter.com/TechWithTimm ⭐ Discord: https://discord.gg/pr2k55t 📝 LinkedIn: https://www.linkedin.com/in/tim-ruscica-82631b179/ 📂 GitHub: https://github.com/techwithtim 🔊 Podcast: https://anchor.fm/tech-with-tim 💵 Doações Únicas: https://www.paypal.com/donate/?token=m_JfrPK7DsK4PLk0CxNnv4VPutjqSldorAmgQIQnMozUwwQw93vdul-yhU06IwAuig15uG&country.x=CA&locale.x= 💰 Patreon: https://www.patreon.com/techwithtim ◾◾◾◾◾◾ ⚡ Por favor, deixe um LIKE e INSCREVA-SE para mais conteúdo! ⚡ ⭐ Tags ⭐ - Tech Com Tim - Tutoriais de Python - Selenium python - Tutorial de selenium em python - Tutorial de Selenium para Iniciantes ⭐ Hashtags ⭐ #python #selenium #webscraping
Tech With Tim•1.6M visualizações•Há 6 a
3:40
O que é Web Scraping e para que é usado? | Definição e Exemplos EXPLICADOS
Baixe o ParseHub gratuitamente: http://bit.ly/2nfg5XO Confira nosso guia inicial sobre web scraping! 0:00 Introdução 0:28 Web Scraping Explicado 1:02 Como os raspadores da web funcionam 2:20 Para que o web scraping pode ser usado? 2:54 melhor raspador da web para você? --- Siga-nos Twitter: https://twitter.com/parsehub LinkedIn: https://www.linkedin.com/company/3967734 Facebook: https://www.facebook.com/ParseHubApp IG: https://www.instagram.com/parsehub/ Curso de Web Scraping: https://academy.parsehub.com/ #webscraping
ParseHub•419.8k visualizações•Há 6 a