@himitsu
Was ist denn ein unerwünschter Spider?
Wenn ich per Delphiprogramm und HTTP mit Get eine Seite lade, dann ist das auf der Webserverseite nicht von einer Eingabe der
URL in 'nem Webbrowser zu unterscheiden.
Wenn ich z. B. in Google (per Programm) die Suchseite aufrufe, so bekomme ich die Seite geliefert, wie im Browser. Die kann ich dann auswerten und die Links zu den weiteren Ergebnisseiten raussuchen und die dann auch aufrufen. Google ist da "gemein". Wenn man innerhalb einer relativ kurzen Zeitspanne viele Seiten abruft, dann merken die das (zählen also intern die Aufrufe mit). Nach einer (nichtmal sehr großen) Anzahl von Aufrufen, kommt eine "Extraseite", in der ich einerseits über diesen "Vorfall" informiert werde und für die weitere Suche ein Captcha vorgesetzt bekomme, ohne dessen korrekte Beantwortung ich dann nicht mehr weiterkomme.
Das wird dann auch noch für weitere Anfragen immer "vorgeschaltet".
Aber: Wenn ich die Seiten automatisch abfrage und zwischen zwei Abfragen eine "menschliche" Pause einlege, so kann ich da auch weitermachen.
Als "Datensammler" bin ich da eigentlich sehr flexibel, Probleme bekommt der Webseitenbetreiber, er muss Sicherheitsmaßnahmen ergreifen, wenn er nicht aussponiert werden will.
Und als Spider werde ich mich niemals als ebensolcher ausgeben
