AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Thema durchsuchen
Ansicht
Themen-Optionen

E-Mail Spider Programm

Ein Thema von Bjoerk · begonnen am 17. Jan 2017 · letzter Beitrag vom 18. Jan 2017
 
nahpets
(Gast)

n/a Beiträge
 
#9

AW: E-Mail Spider Programm

  Alt 17. Jan 2017, 16:53
@himitsu

Was ist denn ein unerwünschter Spider?

Wenn ich per Delphiprogramm und HTTP mit Get eine Seite lade, dann ist das auf der Webserverseite nicht von einer Eingabe der URL in 'nem Webbrowser zu unterscheiden.

Wenn ich z. B. in Google (per Programm) die Suchseite aufrufe, so bekomme ich die Seite geliefert, wie im Browser. Die kann ich dann auswerten und die Links zu den weiteren Ergebnisseiten raussuchen und die dann auch aufrufen. Google ist da "gemein". Wenn man innerhalb einer relativ kurzen Zeitspanne viele Seiten abruft, dann merken die das (zählen also intern die Aufrufe mit). Nach einer (nichtmal sehr großen) Anzahl von Aufrufen, kommt eine "Extraseite", in der ich einerseits über diesen "Vorfall" informiert werde und für die weitere Suche ein Captcha vorgesetzt bekomme, ohne dessen korrekte Beantwortung ich dann nicht mehr weiterkomme.
Das wird dann auch noch für weitere Anfragen immer "vorgeschaltet".
Aber: Wenn ich die Seiten automatisch abfrage und zwischen zwei Abfragen eine "menschliche" Pause einlege, so kann ich da auch weitermachen.

Als "Datensammler" bin ich da eigentlich sehr flexibel, Probleme bekommt der Webseitenbetreiber, er muss Sicherheitsmaßnahmen ergreifen, wenn er nicht aussponiert werden will.
Und als Spider werde ich mich niemals als ebensolcher ausgeben
  Mit Zitat antworten Zitat
 


Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 17:59 Uhr.
Powered by vBulletin® Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024-2025 by Thomas Breitkreuz