Wie schnell viele Datensätze einfügen? [Firebird]

[PhilmacFLy]

Hey Dp'ler

ich habe folgendes Problem, ich habe hier Messungen die aus 12000 Datensätzen bestehen, für jede Millisekunde einen Datensatz.
Nun hab ich das Problem das ich die alle möglichst schnell in die Firebird DB schreiben muss. Meine Frage ist nun, wie mach ich das am schnellsten und effizientesten?

[Nersgatt]

Willst Du die Daten während der Messung in die DB schreiben?

Am wichtigsten ist, dass man die Insert-Query einmal vorbereitet und Parameter benutzt. So muss die Datenbank das Statement nicht jedes mal neu parsen, sondern nur noch die Parameterwerte setzen und in die Tabelle schreiben. Das spart mächtig viel Zeit.
Außerdem ist es evtl. Zeitsparend, wärend des Schreibens die Trigger und Constraints auszuschalten.

Eine weitere Möglichkeit ist, mehrere Datensätze auf einen Rutsch einzuspeisen. EXECUTE BLOCK ist hier das Stichwort.

[mkinzler]

Mit einem parametrisierten Query innerhalb einet Transkation. GGf Index/Trigger temporär deaktivieren

[Bernhard Geyer]

Maximal Geschwindigkeit: Bulk-Insert mit Textdatei
Auch noch sehr gut: Bulk-Insert (Mehrere Insert-Kommandos in eineme Rutsch zur DB schicken) + prepared statement.

[PhilmacFLy]

Ok zuerstmal weill ich die daten erst am ende der Messung einspeisen. Ich habs jetzt mal so probiert:

Delphi-Quellcode:

while z <= Ch_Messung.BottomAxis.Maximum do
          begin
            Memo1.Lines.Text := Memo1.Lines.Text + 'INSERT INTO Messwerte (ID_mess, Millisec, Messwert_Links, Messwert_Rechts, Winkel, Merker) VALUES (' + id +',' + InttoStr(z) +','+ Floattostr(ch_messung.Series[0].YValue[z]) + ',' + FloattoStr(ch_messung.Series[1].YValue[z])+', 0, 0);';
            inc(z);
          end;
        SQL.AddStrings(Memo1.Lines);
        ExecSQL;

Geht das noch besser, bzw schneller? Und vor allem wie schnell kann man solche Große datenmengen überhaupt einspeisen?

[mkinzler]

3 Leute geben dir einen Ratschlag und du entscheiudest dich für die am garantiert langsamste Variante ( die dir keiner geraten hat!!!!!)

[Bernhard Geyer]

Zitat:

Zitat von PhilmacFLy

Geht das noch besser, bzw schneller?

Wurde schon gesagt: Parametrisierte Abfragen/Inserts.

Zitat:

Zitat von PhilmacFLy

Und vor allem wie schnell kann man solche Große datenmengen überhaupt einspeisen?

Hängt von diversen Faktoren ab.
Ein RAID mit hohen Schreibraten ist mit Sicherheit schneller als eine 0815-USB-Festplatte die evtl. noch an USB 1.1 hängt.
Ein Ausführen auf dem gleichen PC ist schneller als wenn die Daten in Europa von der App abgeschickt werden und in Australien dein Server steht.
Viel RAM hat noch bei keinen DBMS zu einer verschlechterung der Performance geführt.
....

[hoika]

Hallo,

Delphi-Quellcode:

while z <=  Ch_Messung.BottomAxis.Maximum do
          begin
            Memo1.Lines.Text := Memo1.Lines.Text + 'INSERT INTO Messwerte (ID_mess, Millisec, Messwert_Links, Messwert_Rechts, Winkel, Merker) VALUES (' + id +',' + InttoStr(z) +','+ Floattostr(ch_messung.Series[0].YValue[z]) + ',' + FloattoStr(ch_messung.Series[1].YValue[z])+', 0, 0);';
            inc(z);
          end;
        SQL.AddStrings(Memo1.Lines);
        ExecSQL;

zu Parameter und Prepared Query sage ich nichts mehr ...

Aber:

Jeder Datensatz wird per ExecSQL eingetragen.
Du versuchst ein

Start
Insert Into Satz1
Insert Into Satz2
Insert Into Satz3

ExecSQL


Das geht so nicht.

Ausserdem sind bei dir die beiden letzten GFeldwerte (Winkel,Meker) immer 0 -> als Default-Werte in der DB setzen


Und Transaktionen sehe ich nicht

StartTransaction;
Insert / ExecSQL
Insert / ExecSQL
Insert / ExecSQL
Commit.



Fange erst mal mit den Parametern und Prepared Queries (passt schön zuammen) an.



Heiko

[Chemiker]

Hallo PhilmacFly,

hat jetzt nicht direkt was mit Deinem Problem zu tun, aber wie bekommst Du denn die Messdaten jede Millisekunde in den PC?

Bis bald Chemiker

[PhilmacFLy]

Timer, iszwar nicht ganz jede Millisekunde, aber fast, da muss ich mir noch was suchen was wirklich jede millisekunde macht