Einen eigenen Crawler zu programmieren, ist fast ein rite de passage, wenn man Python für SEO verwendet, aber die Wartung ist eine der schwierigeren Dinge, die man sich vorstellen und umsetzen kann. In diesem Video erstelle ich eine gepickelte Liste von unbesuchten und besuchten URLs und aktualisiere das gepickelte Objekt im Speicher mit jedem Lese- und Schreibvorgang, sodass selbst wenn der (kleine) Crawl unterbrochen wird, er dort weitermachen kann, wo er aufgehört hat. Ich habe die Resume-Funktion noch nicht implementiert, aber sie ist bereit dafür.