E-Mail Spider Programm

[Bjoerk]

First of all, ist sowas legal? Und wenn ja, wie könnte man das denn in Delphi programmieren?

[a.def]

Meiner Meinung nach legal, solange man nur von legalen quellen sammelt und nichts verschickt.
Aber ich glaube helfen wird dir niemand bei solch einem Vorhaben

[himitsu]

Das Programm ist genauso legal, wie ein Radarwarner. (du darfst ihn kaufen, ihn besitzen, aber nicht auf Straßen benutzen, die der StVO unterliegen)

Es ist nur nicht immer erlaubt einfach so irgendwelche fremden Webseiten auszulesen und deren Informationen zu klauen.
Hängt aber davon ab, was die jeweiligen Webseitenbetreiber dazu sagen.

[nahpets]

Man darf, aber man muss es nicht machen. Wozu auch?

Webseiten und Emails sind mehr oder weniger lange Zeichenfolgen. Emailadressen sind in diesen Zeichenfolgen enthaltene Zeichenfolgen.

Es ist also nix weiter als Stringverarbeitung und die ist mit Delphi banal einfach.

Also:
Zeichenfolge laden.
Teilzeichenfolgen suchen.
Wenn gefunden speichern.

[Bjoerk]

Vielleicht kurz zur Erläuterung. Ich google zum Beispiel nach "Ingenieurbüro, Heidelberg, Architekt, Wärmeschutz". Darauf erhalte ich viele Treffer. Ich klicke einen Treffer an und gelange auf die Homepage. Ich gehe auf Kontakt und finde dort in der Regel einen e-Mail Kontakt. Ich schreibe eine Mail an diesen Kontakt, daß ich eine Super Duper Software habe und frage an, ob diese interessant sein könnte? Bis hierhin ist es in jedem Fall noch legal.

Das Ganze soll halt nun eine Software machen. Aber wie geht das?

[himitsu]

Automatische Mails an fremde unbekannte Adressen zu versenden, würde ich ja eher als "Spam" bezeichnen.

Das ist leider nicht Illegal, aber ...

[nahpets]

Naja, ist doch ganz einfach:

Mit dem Programm die Homepage laden.
Den Kontaktlink suchen.
Die Kontaktseite laden.
Die Emailadresse suchen.
Die Email schreiben.

Habe nur Delphi 7, aber da sind alle Komponenten dabei, die man dafür benötigt.
Und alles, was die einem nicht schon abnehmen, ist Zeichenfolgenverarbeitung.

In Delphi 7 finde ich alles in der Komponentenleiste unter "Indy-Clients".

@himitsu

PS: Mehr Hilfe gibt es zu dem Thema von mir nicht.

[himitsu]

Zitat von nahpets:

Mit dem Programm die Homepage laden.
Den Kontaktlink suchen.

Vielleicht war ja der Seitenbetreiber so nett und hat eine Sitemap.xml hinterlegt, wo der Link zum Impressum hinterlegt ist.

Andererseits kann er auch so nett sein und die Sitemap oder gar die ganze Website nur für "reale" Besucher und erwünschte Spider freigeben und seine Seite für unerwünschte Spider sperren.
(vorallem in Russland und China bin ich schwer zu finden)

Und die Kontaktdaten werden für Ausleseprogramme gern so maskiert, dass sie sich da schon bissl anstrengen müssen, das zu finden und zu entziffen.
Viele malen sowas auch gern auf ein Bild und zeigen das an, aber bezüglich unserer Impressumspflicht könnte es da manchmal Problemchen geben.

[nahpets]

@himitsu

Was ist denn ein unerwünschter Spider?

Wenn ich per Delphiprogramm und HTTP mit Get eine Seite lade, dann ist das auf der Webserverseite nicht von einer Eingabe der URL in 'nem Webbrowser zu unterscheiden.

Wenn ich z. B. in Google (per Programm) die Suchseite aufrufe, so bekomme ich die Seite geliefert, wie im Browser. Die kann ich dann auswerten und die Links zu den weiteren Ergebnisseiten raussuchen und die dann auch aufrufen. Google ist da "gemein". Wenn man innerhalb einer relativ kurzen Zeitspanne viele Seiten abruft, dann merken die das (zählen also intern die Aufrufe mit). Nach einer (nichtmal sehr großen) Anzahl von Aufrufen, kommt eine "Extraseite", in der ich einerseits über diesen "Vorfall" informiert werde und für die weitere Suche ein Captcha vorgesetzt bekomme, ohne dessen korrekte Beantwortung ich dann nicht mehr weiterkomme.
Das wird dann auch noch für weitere Anfragen immer "vorgeschaltet".
Aber: Wenn ich die Seiten automatisch abfrage und zwischen zwei Abfragen eine "menschliche" Pause einlege, so kann ich da auch weitermachen.

Als "Datensammler" bin ich da eigentlich sehr flexibel, Probleme bekommt der Webseitenbetreiber, er muss Sicherheitsmaßnahmen ergreifen, wenn er nicht aussponiert werden will.
Und als Spider werde ich mich niemals als ebensolcher ausgeben

[a.def]

Zitat von himitsu:

Automatische Mails an fremde unbekannte Adressen zu versenden, würde ich ja eher als "Spam" bezeichnen.

Das ist leider nicht Illegal, aber ...

Genau wegen solcher vollkommen sinnlosen und schändlichen Programme wie das vom TE genannte, habe ich auf meiner Webseite die E-Mail-Adresse vor Bots geschützt.