Prima, dass es so klappt. Einfach 2 Sekunden zu warten ist natürlich nicht optimal, denn je nach Netzwerkverbindung kann es auch mal länger dauern, bis die Seite vollständig geladen ist. Oder es geht schneller und man verliert Zeit mit warten.
Deine Beispielseite habe ich mir angeschaut. Die verwendet tatsächlich ein Javascript-Framework (Angular) und lädt Daten dynamisch nach.
Der Vorgang startet auch erst im Event "DomContentloaded", daher ist das zu früh, um die Daten auszulesen. Eigentlich ist die Verwendung einer
API ja ideal, weil man die Daten dann gleich dort abgreifen könnte, ohne sie umständlich aus dem Browser auszulesen. Das erfordert aber natürlich einen ganz anderen Ansatz. Sollte man eine Geschäftsbeziehung zu dem Anbieter haben, könnte man ja auch den offiziellen Weg gehen und nach einem
API-Zugang fragen.
Aber nehmen wir mal an, das ist nicht möglich und möchte die Daten per Browser auslesen. Dann müsste man in NavigationCompleted ein Script ausführen, das wartet, bis die gesuchten Elemente erzeugt wurden und den
HTML-Quelltext dann auslesen.
Hier ein Beispiel:
Delphi-Quellcode:
procedure TForm2.EdgeBrowser1NavigationCompleted(Sender: TCustomEdgeBrowser;
IsSuccess: Boolean; WebErrorStatus: TOleEnum);
var
Script: string;
begin
Script := TFile.ReadAllText('script.js', TEncoding.UTF8);
EdgeBrowser1.executescript(Script);
end;
Und die Datei script.js, die im Exe-Verzeichnis von Delphi liegen muss:
Code:
function waitForElements() {
var elements = document.getElementsByClassName('productrow');
if (elements.length > 0) {
chrome.webview.postMessage(document.documentElement.outerHTML);
} else {
setTimeout(waitForElements, 500);
}
}
waitForElements();
Die Klasse "productrow" muss man natürlich anpassen an die Klasse der gesuchten Daten.
Natürlich ist noch der Fall zu berücksichtigen, dass keine Elemente erzeugt werden, weil eine Suche gar keine gefunden hat. Das muss eben individuell an die Seite angepasst werden.
Außerdem könnte man jetzt, nachdem man sowieso schon nach einzelnen
HTML-Elementen sucht, diese auch gleich statt des gesamten Quelltextes an Delphi liefern und sich so die weitere Verarbeitung über Python sparen.