TIBSQL vs isql-fb Shell

[stalkingwolf]

Ich habe zu Performancetest einmal 10.000 Datensätze in eine Textdatei gespeichert und diese einmal in in einem Delphi Programm in einer Schleife mit TIBSQL ausgeführt und einmal auf der Shell ( Linux ) mit isql-fb .

Die SQL Anweisungen waren nichts anderes als:

Code:

INSERT INTO MYTABLE (FELD_SNR, FELD_1,FELD_2, FELD_3,FELD_4) VALUES( GEN_ID(GEN_MYTABLE_SNR,1), '1', '2', '3', '4');

Das ganze halt 10.000 untereinander und für isql-fb mit connect ... im Header.

Das Delphiprogramm (6, XE4, 10.1 ) benötigte dafür 30 Sekunden Client -> Server 1GBIT Netzwerk.
Auf der SHELL von Linux per isql-fb 3 Sekunden.

Mir war schon klar das über das Netzwerk aus deinem Delphiprogramm es langsamer sein wird. Aber Faktor 10?
Das ist übrigens in allen Konstellationen reproduzierbar auf verschiedenen Servern und verschiedenen Umgebungen z.b VMWare virtuelles Netzwerk 10GBIT.
Dabei fällt auf das sowohl Server als auch Clientprogramm sich langweilen. Ich komme auf evtl 6-7% CPU Auslastung auf dem Server und 10% auf dem Client (Windows 7/8/10).

Normal? Optimierungspotential? Falls ja, wo?!

[hoika]

Hall,
tjaaaaaaa.

1.
Quellcode des Delphi-Programms fehlt

2.
Wo ist denn der Server?
Auf dem Linux-Rechner?


Falls 2.

Zitat:

Mir war schon klar das über das Netzwerk aus deinem Delphiprogramm es langsamer sein wird. Aber Faktor 10?

Dir ist schon klar, dass 10.000 Prepares übers Netz laufen.
Zusätzlich zu den 10.000 Executes.
Und dass es bei isql unter Linux statt zu IP-Zugriffen zu Local-IP (jaja, das heisst unter Linux anders! ) führt.

Wenn du fair wärst, würdest Du den Server zusätzlich unter Windows installieren und auch das isql benutzen.

[stalkingwolf]

beim aufbereiten des Codes zum posten ist mir eins aufgefallen.
von den 30 Sekunden benötigt das füllen von mysql.sql.text := sqlcode alleine 20sek.
D.h wenn ich die Schleife ohne execsql durchlaufe, braucht das ganze noch 20sek.
Das füllen von sql.text von TIBQuery oder TIBSQL ist das langsame.
Ich werde das morgen weiter testen und dann Quellcode posten.

2.) Firebird SQL 2.5.5 auf einem Suse Linux. Egal ob Classic oder Superserver

3.) ist ebenfalls egal. Haben wir auch getestet. Firebird Server unter Windows auf der gleichen Maschine auf welcher das Clientprogramm läuft. Auch 30sek.
ibsql-db auf der Windows Kiste habe ich aber nicht getestet.

[hoika]

Hallo,

SQL.Text:=
würde ich auf jeden Fall ersetzen durch
SQL.Clear;
SQL.Add();

Zitat:

von den 30 Sekunden benötigt das füllen von mysql.sql.text := sqlcode alleine 20sek.

Das ist ein lokaler Aufruf, der auf meinem 486-er (Turbo !!!) gerade mal 50 msec braucht ...

ich warte

[mkinzler]

Zitat:

würde ich auf jeden Fall ersetzen durch

Und Warum? Um es noch langsamer zu machen?
Ich würde die Abfrage eher parametrisieren.

[hoika]

Hallo,
es geht doch (hier) um einen direkten Vergleich eines Delphi-Programmes und der Konsole.
Es wäre doch unfair gegenüber der Konsole, mit Prepare zu arbeiten

[stalkingwolf]

Zitat von mkinzler:

Zitat:

würde ich auf jeden Fall ersetzen durch

Und Warum? Um es noch langsamer zu machen?
Ich würde die Abfrage eher parametrisieren.

Das funktioniert in diesem Fall nicht. Es ist eine große ASCII Datei mit 10.000 SQL Befehlen ( insert ) die nur in der Schleife ausgeführt werden sollen.

Ich habe mittlerweile die meisten Performanceproblem Quellen gefunden.
Es war zum einen der mehrmalige Zugriff auf sql.text ( auch wenn es nur 50ms sind. Das mal 10.000 summiert sich und ich brauch das nachher eher in der 1.000.000 Region ).
Dann meine Logs welchen jede executetime in ein TMemo geschrieben hat zum auswerten.

Ich habe nun die reine Executezeit mit gettickcount davor und danach summiert und liege bei 11 Sekunden.