auf EdgeBrowser.ExecuteScript warten

[herik]

Du hattest natürlich recht, "NavigationStarting" ist zu früh. Das hatte auch nur bei den meisten Webseiten geklappt. Aber meiner "Problemwebseite" auch nicht.
OK, ich habe es jetzt nach deinem letzten Post nochmal umgestellt.

Jetzt sieht es so aus:

Delphi-Quellcode:

procedure TForm2.EdgeBrowser1NavigationCompleted(Sender: TCustomEdgeBrowser;
  IsSuccess: Boolean; WebErrorStatus: TOleEnum);
begin
  if IsSuccess then
  begin
    StatusBar1.Panels[0].Text := BoolToStr(IsSuccess);
    EdgeBrowser1.executescript('setTimeout(() => {chrome.webview.postMessage(document.documentElement.outerHTML);}, "2000");');
  end
  else
  begin
    Showmessage('Navigation nicht beendet');
  end;
end;

Delphi-Quellcode:

procedure TForm2.EdgeBrowser1ExecuteScript(Sender: TCustomEdgeBrowser;
  AResult: HRESULT; const AResultObjectAsJson: string);
var
  json: TJSONValue; //neu
begin
  json := TJSONObject.ParseJSONValue(AResultObjectAsJson);
  WebsiteContent_SL.Text:=json.AsType<string>;
  json.Free;
end;

Diese Procedure habe ich entfernt!

Delphi-Quellcode:

procedure TForm2.EdgeBrowser1WebMessageReceived(Sender: TCustomEdgeBrowser;
  Args: TWebMessageReceivedEventArgs);
var
  WebMessage: PWidechar;
begin
  args.ArgsInterface.TryGetWebMessageAsString(PWidechar(WebMessage));
  WebsiteContent_SL.Text:=WebMessage;
  DatenAbgreifen;
end;

Der aktuelle stand ist, das alles funktioniert.
EdgeBrowser1.executescript('setTimeout(() => {chrome.webview.postMessage(document.documentElement.outerHTML);}, "2000");'); die Zeile richtig eingesetzt und es hat gepasst.

[gubbe]

Prima, dass es so klappt. Einfach 2 Sekunden zu warten ist natürlich nicht optimal, denn je nach Netzwerkverbindung kann es auch mal länger dauern, bis die Seite vollständig geladen ist. Oder es geht schneller und man verliert Zeit mit warten.

Deine Beispielseite habe ich mir angeschaut. Die verwendet tatsächlich ein Javascript-Framework (Angular) und lädt Daten dynamisch nach.

Der Vorgang startet auch erst im Event "DomContentloaded", daher ist das zu früh, um die Daten auszulesen. Eigentlich ist die Verwendung einer API ja ideal, weil man die Daten dann gleich dort abgreifen könnte, ohne sie umständlich aus dem Browser auszulesen. Das erfordert aber natürlich einen ganz anderen Ansatz. Sollte man eine Geschäftsbeziehung zu dem Anbieter haben, könnte man ja auch den offiziellen Weg gehen und nach einem API-Zugang fragen.

Aber nehmen wir mal an, das ist nicht möglich und möchte die Daten per Browser auslesen. Dann müsste man in NavigationCompleted ein Script ausführen, das wartet, bis die gesuchten Elemente erzeugt wurden und den HTML-Quelltext dann auslesen.

Hier ein Beispiel:

Delphi-Quellcode:

procedure TForm2.EdgeBrowser1NavigationCompleted(Sender: TCustomEdgeBrowser;
  IsSuccess: Boolean; WebErrorStatus: TOleEnum);
var
  Script: string;
begin
   Script := TFile.ReadAllText('script.js', TEncoding.UTF8);
   EdgeBrowser1.executescript(Script);
end;

Und die Datei script.js, die im Exe-Verzeichnis von Delphi liegen muss:

Code:

function waitForElements() {
    var elements = document.getElementsByClassName('productrow');
    if (elements.length > 0) {
      chrome.webview.postMessage(document.documentElement.outerHTML);        
    } else {
        setTimeout(waitForElements, 500);
    }
}

waitForElements();

Die Klasse "productrow" muss man natürlich anpassen an die Klasse der gesuchten Daten.
Natürlich ist noch der Fall zu berücksichtigen, dass keine Elemente erzeugt werden, weil eine Suche gar keine gefunden hat. Das muss eben individuell an die Seite angepasst werden.
Außerdem könnte man jetzt, nachdem man sowieso schon nach einzelnen HTML-Elementen sucht, diese auch gleich statt des gesamten Quelltextes an Delphi liefern und sich so die weitere Verarbeitung über Python sparen.

[herik]

Nein, es ist nicht unbedingt optimal die 2 Sekunden zu warten. Aber bei mir spielt es jetzt keine Rolle. Wichtig ist nur das es funktioniert.

Und auch hier gebe ich dir recht. Die Verwendung einer API wäre natürlich der bessere Weg, aber für den überschaubaren Einsatz meiner Anwendung wäre das zu viel Aufwand (Absprachen Berechtigungen usw.)

Der Ansatz für die zusätzliche .JS klingt sehr interessant. Dies würde dann aber wirklich sehr speziell auf diese Webseite passen. Ich versuche aber mit dem Ansatz den ich jetzt habe erstmal alles zu erschlagen was da noch kommt.

Wie gesagt. Mein Projekt wird nur Zeitlich begrenzt benötigt, deswegen will ich auch nicht zu viel Energie hineinstecken.

Ich bin dir auf jeden Fall sehr dankbar für deine Hilfe und Geduld.