Http Get (aber bitte schnell)

[cherry]

Hallo zusammen

Ich bin hier allmälich am verzweifeln. Ich muss mit Delphi7 auf einen C# WCF Webservice zugreifen. Im Vordergrund steht hier vor allem die Geschwindigkeit. Deshalb bin ich überall am sparen wos nur geht. Ich hab verschiedene Tests gemacht sowohl mit SOAP wie auch mit REST. Kurz und Knapp : Der Webservice hat eine Funktion Find(..) als Rückgabe werden verschiedene IDs erwartet.

Ich bevorzuge hier eigentlich REST um den Overhead möglichst gering zu halten. Mittels TIdHttp Komponente setze ich folgendes GET ab: "http://localhost:8080/Web/Find?text=blablabla". Ich hab den Prototyp so eingestellt, dass mir jeweils die ersten 1000 gefundenen IDs zurückgegeben werden. Die IDs werden als Komma separierten ASCII String zurückgegeben. Das ganze funktioniert eigentlich soweit ganz gut. Nur habe ich so meine Bedenken was die Geschwindigkeit angeht. Bei dieser Variante schwanken die Antwortzeiten ganz schön...

Die Suche ist immer dieselbe der Server hat jeweils ca. 644ms Sekunde um die Suche abzuarbeiten, der Rest ist eigentlich der Kommunikationsaufwand, welchen ich möglichst gering halten möchte...

(Antwortzeiten in ms)
1279, 1264, 671, 1263, 671, 1279, 671, 671, 670, 671

Dasselbe habe ich nun noch mit SOAP gemacht (RPC Encoded) und gibt mir folgende Zeiten
(Antwortzeiten in ms)
811, 811, 780, 780, 749, 749, 733, 749, 734, 733

Eigentlich habe ich erwartet, dass die REST Variante schneller ist. Wenn ich den Client auch mit C# schreibe, dann sind beide Varianten ungefähr gleich schnell. REST ein kleines bisschen schneller. Das müsste sich ja bei DELPHI genau so verhalten? Wenn ich die REST URL im Browser eingebe dauert es nie länger 656ms.

Warum schwankt TIdHttp.Get() so stark ? -> Irgendwie habe ich das Dumpfe Gefühl, dass es an der Komponente liegt. Hab deshalb auf Indy 9.0.18 geupdatet, was leider auch nichts gebracht hat. Des weiteren habe ich die synopsis Komponenten mit der Funktion HttpGetText getestet. Die war leider auch nicht schneller und wies ähnliche Schwankungen auf. (Was eigentlich gegen meine Vermutung spricht).

Da ist was faul... aber was? - Es kann ja nicht sein, dass SOAP hier schneller ist. Es müsste mindestens gleich schnell sein. Bauchweh machen mir vorallem die starken Schwankungen. Machmal dauert es einfach doppelt solange wie sonst...

Hat jemand eine Idee was ich noch versuchen kann, oder wo das Problem liegen könnte ?

Liebe Grüsse
& Danke im Voraus

[Sir Rufo]

Nur mal so am Rande:

Warum ein Update auf Indy 9.x und nicht auf 10.x?

[mjustin]

Eventuell läßt sich das anhand eines minimalen WCF Projekts reproduzieren, das hier gepostet werden kann? Dann könnte man verschiedene HTTP Clients testen (Indy 10.6, Apache Bench, JMeter).

Zitat von cherry:

Wenn ich die REST URL im Browser eingebe dauert es nie länger 656ms.

Wie wird die Zeit gemessen, ist das nur die Zeit für das Auslesen der HTTP Response? Oder für Request und Response?

[cherry]

Hallo zusammen

@Rufo: Wenn ich ehrlich bin, hab ichs kurz versucht zu installieren. Da es nicht auf Anhieb geklappt hat und die Version mit "Work in progress" (bzw. nicht Stable) gekennzeichnet ist hab ichs dann auch nicht weiter versucht.

@mjustin: Eine minimale Anwendung kann ich gerne machen und posten... Bezüglich der Zeitangabe: Ich habe dazu die Chrome App "Advanced Rest Client" verwendet. Die Zeitangabe beinhaltet Request und Response
(und vermutlich sogar die Darstellung der IDs)

[mjustin]

Zitat von cherry:

@Rufo: Wenn ich ehrlich bin, hab ichs kurz versucht zu installieren. Da es nicht auf Anhieb geklappt hat und die Version mit "Work in progress" (bzw. nicht Stable) gekennzeichnet ist hab ichs dann auch nicht weiter versucht.

"Stable" Indy Versionen gab es schon lange nicht mehr. Indy 10.6 enthält aber sehr viele Verbesserungen und Bugfixes, so dass es sich durchaus lohnen kann sie zum Vergleich zu testen. Solange man keine fortgeschrittenen HTTP Features testen muss (Cookies, SSL, Form-Parameter) ist das in Minuten machbar.

Man muss Indy 10.6 nicht in der IDE als Package installieren, sondern lediglich für das konkrete Projekt die Suchpfade auf die Lib/Core, Protocols und System Verzeichnisse setzen. (Solange man nicht absichtlich das DCU Verzeichnis umbiegt, wird die Indy 9 Version wird dadurch nicht angefasst.)

[Sir Rufo]

Zitat von cherry:

@Rufo: Wenn ich ehrlich bin, hab ichs kurz versucht zu installieren. Da es nicht auf Anhieb geklappt hat und die Version mit "Work in progress" (bzw. nicht Stable) gekennzeichnet ist hab ichs dann auch nicht weiter versucht.

Wo hast du denn geschaut?

Am besten nimmst du die SVN-Version http://www.indyproject.org/Sockets/Download/svn.DE.aspx

[cherry]

Hab nun mal ein Beispielprojekt erstellt. Könnt ihr euch das mal anschauen? Ist echt witzig aus dem Delphi Programm ist das Aufrufen des Rest Webservice erheblich langsamer, als die SOAP Variante. Bei mir zeichnet es sich so aus, dass die REST Aufrufe jedes zweite Mal ca. gleich schnell sind.

REST

1080
811
1092
811
...

SOAP

Ist nicht nur konstanter, sondern erheblich schneller...

733
530
530
531
...

Der Aufruf mittels "Addvanced Rest Client Chrome App" ist jedoch am schnellsten...

550
507
507
507
...

Es fällt irgendwie auch auf, dass der erste Aufruf immer etwas länger geht...

Zum Anhang:

WebServerTest ist ein VS2010 Projekt mit einem REST und einem Soap Webservice

WSTestClient der passende Delphi7 Client.

PS:

Rest Service läuft auf Port 8080
http://localhost:8080/Web/Find?text=blabla

SOAP Service auf Port 8000

[cherry]

Hallo zusammen

Ich habs nun auch noch mit den aktuellsten Indy Komponenten (Trunc) versucht. Leider ist das Ergebnis dasselbe. Entweder mache ich etwas komplett falsch, oder die Komponente hat ein Problem. Wie verhält sich das Demoprogramm bei euch? - Macht ihr da dieselben Beobachtungen?

LG

[Phoenix]

Okay, mir fehlen hier grundlegende Informationen um auch nur Ansatzweise raten zu können, an was es liegen könnte.

1.) Welches Format fährst Du über REST?
REST kann prinzipiell mal alles rüberschicken. HTML, JSON, auch XML oder CSV sind grundsätzlich möglich. Was nutzt Du konkret?

2.) Wie sieht das aus, wenn Du mal mit konstanten, nicht berechneten Werten arbeitest?
Also konkret, entweder mit Fiddler das Ergebnis cachen oder noch einfacher, das Ergebnis des REST-Calls durch den Browser abrufen, in eine Datei speichern und dann diese als statisches File auf eine andere URI legen, die Du dann über Deinen REST Client abrufst. Damit kannst Du eine konstante, sehr kleine Abrufzeit erreichen, die Deine Messung nicht beeinflusst.

3.) Schneide mal den Traffic zwischen Deinem Client und der Service mit Fiddler mit. Vielleicht bekommst Du hier einige zusätzliche Informationen was hier passiert.

Ich würde ohne diese Infos vermutlich darauf tippen, das hier JSON über die Leitung fliegt und der Teil der das JSON parsed nicht ganz so performant ist, wie eine XML deserialization.
Vielleicht kannst Du mit einem simplen Tweak das Ausgabeformat des Service auf XML forcieren (sollte bei WCF mit einem URL-Parameter gehen), und damit könntest Du ggf. in den Genuss der schnelleren XML-Deserialisierung kommen ohne von REST weg zu müssen. Aber wie gesagt: Ist nur geraten, ohne ausreichend Informationen zu haben.

[cherry]

Hallo Phoenix

Was kann denn noch fehlen. Ich hab ein minimales Projekt angehängt wo der Fehler zu reproduzieren ist. Zumindest bei mir. Wäre eben interessant ob das bei andern auch so ist.

1) GET anfrage. Rückgabe ASCII String (Das hab ich oben schon erwähnt). Kein JSON kein XML.
2) In meine Beispielprojekt wird die Messung nicht gross durch Berechnungen beeinflusst. Die "Berechnungszeigen" des Servers werden geloggt und sind mehr oder weniger Konstant. Ich habe im Beispielprojekt ein Sleep von 500 ms eingebaut. Das Erstellen von 1000 Random IDs kostet fast nichts. Trotzdem dauert die Anfrage über REST Zeitweise 0.5s Länger als erwartet!
3) Mit TcpTrace sehe ich den Verkehr und das sieht soweit gut aus. Mit Fiddler ists in der Tat komisch... SOAP Variante sehe ich... REST Anfrage über Browser sehe ich auch. In Fiddler tut sich aber rein gar nichts, wenn ich eine REST Anfrage über den Delphi7 Client verschicke. Der Webservice wird aufgerufen, ich erhalte ein Resultat, aber Fiddler sieht nichts?! (TcpTrace siehts, logischerweise). Fiddler kenn ich halt auch zu wenig, keine Ahnung warum ers nicht sieht...

Wenn nicht noch jemand eine Zündende Idee oder ein schwerwiegenden Verdacht hat, werde ich hier aufgeben und mich für die SOAP Variante entscheiden müssen. Ansonsten komme ich hier nie weiter. Wäre toll wenn jemand noch mein Beispiel Programm anschauen könnte, vielleicht sieht ihr da was ???