Tutorial que demuestra cómo programar scripts (trabajos cron) para que se ejecuten automáticamente; aquí vemos un script de Scrapy-python siendo programado y ejecutado.
(Esto es más relevante para sistemas operativos Linux/Mac OSX)
Cubre la edición de tu archivo crontab.
◾crontab -e
Puedes crear uno si no existe ya.
Esto te permitirá ejecutar spiders en un horario repetitivo, por ejemplo:
◾ diario
◾ semanal
◾ mensual
◾ o a horas específicas del día
Para copiar lo que muestro en el video, también necesitarás asegurarte de invocar el spider de Scrapy usando CrawlerProcess en lugar de la sintaxis típica de CLI de Scrapy.
Los campos de tiempo y fecha son:
campo valores permitidos
----- --------------
minuto 0-59
hora 0-23
día del mes 1-31
mes 1-12 (o nombres, ver abajo)
día de la semana 0-7 (0 o 7 es domingo, o usa nombres)
Un campo puede contener un asterisco (*), que siempre representa
"primero-último".
Los nombres también se pueden usar para los campos de 'mes' y 'día de la semana'. Usa
las primeras tres letras del día o mes particular (no importa el caso).
No se permiten rangos o listas de nombres.
⚠ ¡Nota!
Si quieres que un archivo se ejecute en la hora, usas 59, ya que el rango de 60 minutos es 0-59!
eg:
59 0 * * * /usr/bin/python3 myfile.py
RTFM 📙 :
man crontab
man cron
⚠ Descargo de responsabilidad: Cualquier código proporcionado en este tutorial es solo para uso educativo, no me hago responsable de lo que hagas con él. 🚓
A continuación, transferiré algunos spiders y código de bs4 al Pi Zero y veré si podemos programar en eso usando la misma sintaxis utilizada aquí.
¿Nos vemos por ahí, sí?
Dr. Pi.