Quellcode einer Webseite herunterladen

[Amateurprofi]

Zitat von Andreas L.:

Vielleicht hilft davon etwas:

• TIdCookieManager zuweisen
• Request.UserAgent einen Browser-UserAgent zuweisen
• HandleRedirects auf True setzen

Welche Indy-Version verwendest du? Vielleicht behebt ein Update das Problem.

Hallo Andreas L.,
danke für die Hinweise.

HandleRedirects hab ich auf True gesetzt, bringt keine anderen Ergebnisse.
UserAgent enthält "Mozilla/3.0 (compatible; Indy Library)" – muss ich da was ändern ? Und wenn ja, was muss ich da reinschreiben?
Die Indy-Version scheint 10.5.7 zu sein.

Und last not least "TIdCookieManager zuweisen"
Wie mache ich das? Ich hab keinerlei Erfahrung auf diesem Gebiet.

[Andreas L.]

Zitat von Amateurprofi:

UserAgent enthält "Mozilla/3.0 (compatible; Indy Library)" – muss ich da was ändern ? Und wenn ja, was muss ich da reinschreiben?

z. B.: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:15.0) Gecko/20120427 Firefox/15.0a1
Weitere: http://www.useragentstring.com/pages...gentstring.php

Zitat von Amateurprofi:

Und last not least "TIdCookieManager zuweisen"
Wie mache ich das? Ich hab keinerlei Erfahrung auf diesem Gebiet.

Einen TIdCookieManager auf die Form ziehen und der Eigenschaft CookieManager der IdHTTP-Komponente eintragen und AllowCookie auf true setzen.

[Thom]

Bei mir gibt es auch keine Probleme (Delphi XE): Mit den enthaltenen Indy-Komponenten funktioniert das Laden der Seite. Cookies sind ebenso egal wie der User-Agent.

Delphi-Quellcode:

  HTTP:=TIdHTTP.Create;
  try
    Content:=HTTP.Get('http://www.030chat.de/online.html');
    HTTP.Response.RawHeaders.ConvertToStdValues(Memo1.Lines);
    Memo1.Lines.Add(Content);
  finally
    HTTP.Free;
  end;

[Andreas L.]

Bei mir gehts auch (Delphi 2009 Pro + Indy 10)

Delphi-Quellcode:

procedure TForm2.Button1Click(Sender: TObject);
var
  http: TIdHTTP;
begin
  http := TIdHTTP.Create(nil);
  try
    Memo1.Text := http.Get('http://www.030chat.de/online.html');
  finally
    FreeAndNil(http);
  end;
end;

[Amateurprofi]

Habe alles ausprobiert, alles was offenbar bei allen funktioniert, funktioniert (außer dem was shmia gepostet hat) bei mir leider nicht.
Vielen Dank an alle und ganz besonderen Dank an shmia.
Problem gelöst und ich bin happy.

[Andreas L.]

Zitat von Amateurprofi:

Problem gelöst und ich bin happy.

Wie konntest du das Problem beheben?

[Amateurprofi]

Mit einer für meine Zwecke umgemodelten Version von shmias Projekt.

Delphi-Quellcode:

class function TMain.CreateRequestObject: IXMLHTTPRequest;
begin
   try
      Result := Createoleobject('Msxml2.XMLHTTP.6.0') as IXMLHTTPRequest;
   except
      on E:Exception do
      begin
         E.Message := 'MSXML 4.0 or higher required!'#13#10+E.Message;
         raise;
      end;
   end;
end;

Delphi-Quellcode:

FUNCTION TMain.ReadSourceCode(const url:string; var headers,texts:string):boolean;
const
   header='User-Agent';
   value='Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)';
var
   req:IXMLHTTPRequest;
   body:OleVariant;
begin
   req := CreateRequestObject;
   req.Open('GET', url, false, '', '');
   req.SetRequestHeader(header, value);
   body := '';
   req.Send(body);
   headers:=req.GetAllResponseHeaders;
   texts:=req.ResponseText;
   result:=req.statusText='OK';
end;

[decibel666]

Hallo!

Hab mir das Programm xmlhttprequest.zip angesehen und es macht genau das was ich auch machen will. Wollte es mit Borland Enterprise 7 compilieren , scheitert aber daran das
eine Komponente nicht gefunden wird und zwar MSXML2_TLB. Welche Version von MSXML muss ich hier instzellieren ? (Ich verwende Windows 7 64 Bit und Borland Delphi 7 Enterprise..)

So MSXML 4.0 Service Pack 2 ist jetzt instlaliert und exportiert. Das funktioniert jetzt. Nur kommt jetzt beim Kompilieren wieder ein Fehler [Fehler] Unit1.pas(90): Undefinierter Bezeichner: 'EmptyParam' . Hmzz

Auch erledigt : Unter Delphi 7 muss die Unit Variants.pas eingebunden werden.

Funktioniert jetzt Jetzt kann ichs meinen Wünschen anpassen *freu*

Sorry, hab schon lange nichts mehr mit Delphi gemacht (doch schon mehr als 10 Jahre her)...

Folgendes will ich jedenfalls probieren :

Würde gerne die Holidaycheckseite mit einer vordefinierten Abfrage automatisch auswerten (in einem gewissen Interval) und bei einem gewissen Schwellwert (Preis) ein Mail an mich verschicken.

So brauch ich nicht jeden Tag nachsehen obs ein Neues Angebot mit meinen speziellen Angaben gibt

Die URL der Seite welche ausgewertet werden soll sieht zb. so aus (hier sind alle gewünschten Optionen enthalten- je nach Abfrage ändern sich natürlich die URL..) :

http://www.holidaycheck.at/hotel-Rei...ferlistOrder=0

Ich will jetzt den Bereich wo class="offerlistItem.." davor steht auswerten und
aufbereiten und wenn der Preis unter einem bestimmten Wert fällt eine Mail verschicken.

Mal schauen ob es auch möglich ist das Angebot Prüfen auch auszuwerten...

vielen Dank
DeCi

[shmia]

Also ich kann die Seite http://www.030chat.de/online.html ohne Probleme herunterladen.
Cookies werden keine gesetzt und es wird auch kein Redirect angeboten.
Testprogramm ist im Anhang.