Unterseiten einer Homepage ermitteln

[youuu]

Hi,

wie kann ich alle Unterseiten einer Homepage ermitteln?
Das heißt, das ich keine externen Verlinkungen mit aufsammeln möchte.

Unterseiten können auch relative Pfade enthalten.

[Namenloser]

Wie hast du es bisher versucht?

[Luckie]

Allen Links folgen und wenn ein Link eine fremde Domain beinhaltet, dann gehört die Seite nicht zur Seite.

[youuu]

Ich hätte es jetzt umständlich gemacht mit:

1. idhttp.get
2. per "Pos", "Copy" alle Links gesucht
3. aussortieren der links die auf eine andere homepage führen
4. die relativen Pfade umgeschrieben.

Ich dachte nur es geht vielleicht einfacher.

[rollstuhlfahrer]

ja, einfacher geht es mit einem Sitemap, vor allem das, was von Google abgefragt wird. Nur gibt es keine definierte Stelle, wo das Sitemap liegt.

Bernhard

PS: Allen Links folgen ist nun einfach die einzige Lösung, wenn man nicht über "Hintertüren" an mehr Informationen kommt.

[youuu]

Naja, ich kann nicht davon ausgehen, das die Seiten alle eine Sitemap besitzen und diese alle in einen einhetlichen Format angegeben sind.
Da existeren ja doch ei paar mehr Varianten.

[shmia]

Schau mal hier:
Felix colibri Web Spider
Der Delphi Sourcecode ist zwar etwas verkorkst, aber die Erklärungen zum "Spidering Algorithm" sind ganz nützlich.

[youuu]

Erhalte soweit alle Links, aber wie kann ich bitte erkennen ob es Links sind oder Bilder oder oder ... ?

[Die Muhkuh]

Gucken, ob es auf .html oder .jpg etc. endet.

[Valle]

Zitat von Die Muhkuh:

Gucken, ob es auf .html oder .jpg etc. endet.

Nein. Dem vom Server gesendeten Content-Type-Header auswerten.

Liebe Grüße,
Valle