Tutoriel, démontrant comment planifier des scripts (jobs cron) pour s'exécuter automatiquement - ici nous voyons un script Scrapy-python être planifié et exécuté.
(Ceci est le plus pertinent pour les systèmes d'exploitation Linux/Mac OSX)
Il couvre l'édition de votre fichier crontab.
◾crontab -e
Vous pouvez en créer un s'il n'existe pas déjà.
Cela vous permettra d'exécuter des spiders selon un calendrier répétitif. par exemple.
◾ quotidien
◾ hebdomadaire
◾ mensuel
◾ ou à des heures spécifiques de la journée
Pour reproduire ce que je montre dans la vidéo, vous devrez également vous assurer d'invoquer le spider Scrapy en utilisant CrawlerProcess plutôt que la syntaxe CLI typique de Scrapy.
Les champs de temps et de date sont :
champ valeurs autorisées
----- --------------
minute 0-59
heure 0-23
jour du mois 1-31
mois 1-12 (ou noms, voir ci-dessous)
jour de la semaine 0-7 (0 ou 7 est dimanche, ou utilisez des noms)
Un champ peut contenir un astérisque (*), qui représente toujours
"premier-dernier".
Des noms peuvent également être utilisés pour les champs 'mois' et 'jour de la semaine'. Utilisez
les trois premières lettres du jour ou du mois particulier (la casse n'a pas
d'importance). Les plages ou listes de noms ne sont pas autorisées.
⚠ Remarque !
Si vous voulez qu'un fichier s'exécute à l'heure, vous utilisez 59, car la plage de 60 minutes est 0-59 !
par exemple :
59 0 * * * /usr/bin/python3 myfile.py
RTFM 📙 :
man crontab
man cron
⚠ Avertissement : Tout code fourni dans ce tutoriel est à des fins éducatives uniquement, je ne suis pas responsable de ce que vous en faites. 🚓
Ensuite, je vais transférer quelques spiders et du code bs4 sur le Pi Zero et voir si nous pouvons planifier cela en utilisant la même syntaxe utilisée ici.
À bientôt, d'accord ?
Dr Pi.