Hallo,
Kernstück eines WebSpiders ist eine Funktion, welche die auf einer
HTML-Seite vorhandenen Links ermittelt und dann die entsprechenden Seiten rekursiv aufsucht:
ExtractLinks()
Vorsicht vor Endlosschleifen. Und da alle Seiten einer web site einen nicht zyklusfreien Graph beliebigen Grades darstellen, sollte man auch eine maximale Rekursionstiefe festlegen.
Grüße vom marabu