Tutorial, demonstrando como agendar scripts (cron jobs) para serem executados automaticamente - aqui vemos um script Scrapy-python sendo agendado e executado.
(Isso é mais relevante para sistemas operacionais Linux/Mac OSX)
Cobre a edição do seu arquivo crontab.
◾crontab -e
Você pode criar um se ele ainda não existir.
Isso permitirá que você execute spiders em um cronograma repetitivo, por exemplo:
◾ diário
◾ semanal
◾ mensal
◾ ou em horários específicos do dia
Para copiar o que mostro no vídeo, você também precisará garantir que invoque a spider Scrapy usando CrawlerProcess em vez da sintaxe típica do CLI Scrapy.
Os campos de data e hora são:
campo valores permitidos
----- --------------
minuto 0-59
hora 0-23
dia do mês 1-31
mês 1-12 (ou nomes, veja abaixo)
dia da semana 0-7 (0 ou 7 é domingo, ou use nomes)
Um campo pode conter um asterisco (*), que sempre representa
"primeiro-último".
Nomes também podem ser usados para os campos 'mês' e 'dia da semana'. Use
as três primeiras letras do dia ou mês específico (a capitalização não
importa). Intervalos ou listas de nomes não são permitidos.
⚠ Nota!
Se você quiser que um arquivo seja executado na hora, use 59, já que o intervalo de 60 minutos é 0-59!
eg:
59 0 * * * /usr/bin/python3 myfile.py
RTFM 📙 :
man crontab
man cron
⚠ Aviso : Qualquer código fornecido neste tutorial é para uso educacional apenas, não sou responsável pelo que você faz com ele. 🚓
A seguir, vou transferir alguns spiders e código bs4 para o Pi Zero e ver se conseguimos agendar isso usando a mesma sintaxe utilizada aqui.
Até mais, certo?
Dr. Pi.