Unterseiten einer Homepage ermitteln

[shmia]

Schau mal hier:
Felix colibri Web Spider
Der Delphi Sourcecode ist zwar etwas verkorkst, aber die Erklärungen zum "Spidering Algorithm" sind ganz nützlich.

[youuu]

Erhalte soweit alle Links, aber wie kann ich bitte erkennen ob es Links sind oder Bilder oder oder ... ?

[Die Muhkuh]

Gucken, ob es auf .html oder .jpg etc. endet.

[Valle]

Zitat von Die Muhkuh:

Gucken, ob es auf .html oder .jpg etc. endet.

Nein. Dem vom Server gesendeten Content-Type-Header auswerten.

Liebe Grüße,
Valle

[youuu]

Ich wollte gerade sagen, nicht es kann ja html, htm, php, phpX usw. ändern.
Wie genau prüfe ich den Content Header?

[youuu]

Also mit

Delphi-Quellcode:

IdHTTP.Head(FHomepage);
IdHTTP.Response.RawHeaders.Text;

erhalte ich folgendes

Zitat:

Date: Wed, 22 Sep 2010 06:03:08 GMT
Server: Apache
X-Powered-By: PHP/5.2.12-nmm2
Set-Cookie: cookieHash=4cbf1ca3f8bf102c9170f6bde3bb1377687a070 2; expires=Fri, 22-Oct-2010 06:03:08 GMT
Set-Cookie: PHPSESSID=421317f10bff0a87b5c58f359bc04f82b04da899 ; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Vary: Accept-Encoding
Content-Type: text/html; charset='UTF-8'

Edit: ah ich seh schon ganz unten

[youuu]

Leider zeigt mir der Content Typ auch bei "css" Dateien "Text/Html" an.

Muss ich nun doch extra die Endung prüfen?

[Valle]

Er zeigt bei CSS "text/html" an?
Kannst du mir den Link mal (notfalls per PN) schicken?

Liebe Grüße,
Valle

[himitsu]

Wenn die CSS-Datei z.B. per PHP-Script generiert/ausgeliefert wird und der Programmierer wiedermal vergessen hat den ContentType ordentlich zu setzen, dann kann sowas schonmal bei rauskommen.


PS: Das Optimalste und das, für alle Seiten, Beste wäre,
wenn die Webseite direkt alle nötigen Informationen bereitstellt und man somit nix mehr großartig pauslesen und parsen muß.
Wenn es sich immer un die selbe Webseite handelt, dann könnte man ja mal den Webmaster ganz lieb fragen.

[Valle]

Hallo,

wir haben eben festgestellt, dass der Server bei der CSS-Seite alles richtig macht.
Es muss am Delphi-Code liegen. Indy-Experten hier?

Liebe Grüße,
Valle