Wie schnell viele Datensätze einfügen? [Firebird]

[PhilmacFLy]

Hey Dp'ler

ich habe folgendes Problem, ich habe hier Messungen die aus 12000 Datensätzen bestehen, für jede Millisekunde einen Datensatz.
Nun hab ich das Problem das ich die alle möglichst schnell in die Firebird DB schreiben muss. Meine Frage ist nun, wie mach ich das am schnellsten und effizientesten?

[Nersgatt]

Willst Du die Daten während der Messung in die DB schreiben?

Am wichtigsten ist, dass man die Insert-Query einmal vorbereitet und Parameter benutzt. So muss die Datenbank das Statement nicht jedes mal neu parsen, sondern nur noch die Parameterwerte setzen und in die Tabelle schreiben. Das spart mächtig viel Zeit.
Außerdem ist es evtl. Zeitsparend, wärend des Schreibens die Trigger und Constraints auszuschalten.

Eine weitere Möglichkeit ist, mehrere Datensätze auf einen Rutsch einzuspeisen. EXECUTE BLOCK ist hier das Stichwort.

[mkinzler]

Mit einem parametrisierten Query innerhalb einet Transkation. GGf Index/Trigger temporär deaktivieren

[Bernhard Geyer]

Maximal Geschwindigkeit: Bulk-Insert mit Textdatei
Auch noch sehr gut: Bulk-Insert (Mehrere Insert-Kommandos in eineme Rutsch zur DB schicken) + prepared statement.

[PhilmacFLy]

Ok zuerstmal weill ich die daten erst am ende der Messung einspeisen. Ich habs jetzt mal so probiert:

Delphi-Quellcode:

while z <= Ch_Messung.BottomAxis.Maximum do
          begin
            Memo1.Lines.Text := Memo1.Lines.Text + 'INSERT INTO Messwerte (ID_mess, Millisec, Messwert_Links, Messwert_Rechts, Winkel, Merker) VALUES (' + id +',' + InttoStr(z) +','+ Floattostr(ch_messung.Series[0].YValue[z]) + ',' + FloattoStr(ch_messung.Series[1].YValue[z])+', 0, 0);';
            inc(z);
          end;
        SQL.AddStrings(Memo1.Lines);
        ExecSQL;

Geht das noch besser, bzw schneller? Und vor allem wie schnell kann man solche Große datenmengen überhaupt einspeisen?

[mkinzler]

3 Leute geben dir einen Ratschlag und du entscheiudest dich für die am garantiert langsamste Variante ( die dir keiner geraten hat!!!!!)

[Bernhard Geyer]

Zitat:

Zitat von PhilmacFLy

Geht das noch besser, bzw schneller?

Wurde schon gesagt: Parametrisierte Abfragen/Inserts.

Zitat:

Zitat von PhilmacFLy

Und vor allem wie schnell kann man solche Große datenmengen überhaupt einspeisen?

Hängt von diversen Faktoren ab.
Ein RAID mit hohen Schreibraten ist mit Sicherheit schneller als eine 0815-USB-Festplatte die evtl. noch an USB 1.1 hängt.
Ein Ausführen auf dem gleichen PC ist schneller als wenn die Daten in Europa von der App abgeschickt werden und in Australien dein Server steht.
Viel RAM hat noch bei keinen DBMS zu einer verschlechterung der Performance geführt.
....

[hoika]

Hallo,

Delphi-Quellcode:

while z <=  Ch_Messung.BottomAxis.Maximum do
          begin
            Memo1.Lines.Text := Memo1.Lines.Text + 'INSERT INTO Messwerte (ID_mess, Millisec, Messwert_Links, Messwert_Rechts, Winkel, Merker) VALUES (' + id +',' + InttoStr(z) +','+ Floattostr(ch_messung.Series[0].YValue[z]) + ',' + FloattoStr(ch_messung.Series[1].YValue[z])+', 0, 0);';
            inc(z);
          end;
        SQL.AddStrings(Memo1.Lines);
        ExecSQL;

zu Parameter und Prepared Query sage ich nichts mehr ...

Aber:

Jeder Datensatz wird per ExecSQL eingetragen.
Du versuchst ein

Start
Insert Into Satz1
Insert Into Satz2
Insert Into Satz3

ExecSQL


Das geht so nicht.

Ausserdem sind bei dir die beiden letzten GFeldwerte (Winkel,Meker) immer 0 -> als Default-Werte in der DB setzen


Und Transaktionen sehe ich nicht

StartTransaction;
Insert / ExecSQL
Insert / ExecSQL
Insert / ExecSQL
Commit.



Fange erst mal mit den Parametern und Prepared Queries (passt schön zuammen) an.



Heiko

[Chemiker]

Hallo PhilmacFly,

hat jetzt nicht direkt was mit Deinem Problem zu tun, aber wie bekommst Du denn die Messdaten jede Millisekunde in den PC?

Bis bald Chemiker

[PhilmacFLy]

Timer, iszwar nicht ganz jede Millisekunde, aber fast, da muss ich mir noch was suchen was wirklich jede millisekunde macht

[himitsu]

Fast?

ein Timer wird bei dir wohl etwa minimale Intervalle von 15-16 Millisekunden hinbekommen.


Aber dazu gibt es genügend Threads, welche die Gründe und Alternativen nennen.

[PhilmacFLy]

das ist aber nicht das problem um das es hier geht, ich sagte ja bereits das ich das noch machen werde

[Chemiker]

Hallo PhilmacFLy,

Zitat:

Zitat von PhilmacFLy

Timer, iszwar nicht ganz jede Millisekunde, aber fast, da muss ich mir noch was suchen was wirklich jede millisekunde macht

Das ist jetzt nicht worauf ich hinaus wollte, sondern die Frage ist, welche Messwerte willst Du erfassen, wie ist die Messeinrichtung mit dem PC verbunden, willst Du die Messwerte über eine serielle Schnittstelle übermitteln, wie sollen die Messwerte ausgewertet werden usw. usw.

Ich kann mir nicht vorstellen, dass bei der kurzen Zeit die zur Verfügung steht, die Messwerte direkt in die Datenbank abgelegt werden können. Es kann eigentlich nur so sein, dass die Messwerte im Speicher gehalten werden bis die Messung beendet ist. Dananch werden die Daten dann in eine Datenbank abgelegt.

Bis bald Chemiker

[blackfin]

Zitat:

Es kann eigentlich nur so sein, dass die Messwerte im Speicher gehalten werden bis die Messung beendet ist. Dananch werden die Daten dann in eine Datenbank abgelegt.

Richtig, so machen es ja sogar die besten Speicher-Oszilloskope.
Eine Live-Übertragung im Millisekunden-Bereich ist imho gar nicht möglich (solange es um digital-Signale geht)

[hoika]

Hallo,

eine sinnlose Diskussion!

#5

Zitat:

Ok zuerstmal weill ich die daten erst am ende der Messung einspeisen

ei -e ;)



PS:
Viele Systeme arbeiten übrigens mit einem CallBack (Interrupt-Routine),
da wird kein Timer benötigt.


Heiko

[himitsu]

Da man hier ja sowieso die Daten nicht schnell genug in die DB bekommt,
würde ich sie auch erstmal in einer Liste zwischenspeichern.

Dazu könnte man diese Liste sogar paralell, über einen weiteren Thread oder im Hauptthread (es wurde ja noch nicht geklärt, wie die Daten nun überhaupt erstmal in den PC gelangen.), schon wärend des Empfangens, in die DB schreiben ... so hat man bis zu 12 Sekunden mehr zeit, um die DB zu füllen, im Vergleich dazu, wenn man erst nach Ende des Datenempfangs damit anfängt.

[PhilmacFLy]

Ja ich krieg die Daten über eine serielle Schnittstelle oder über USB, die werden dann auf ein TChart angezeigt, und aus dem nehm ich mir die werte dann wieder.

[mkinzler]

Dann würde ich hier die Reihenfolge ändern Daten->Datenbank->Chart

[Chemiker]

Hallo PhilmacFly,

Zitat:

Zitat von mkinzler

Dann würde ich hier die Reihenfolge ändern Daten->Datenbank->Chart

So sollte es sein.

Aber trotzdem, über eine serielle Schnittstelle/USB pro Millisekunde ein Datensatz empfangen, halte ich nicht für machbar.

Bis bald Chemiker

[PhilmacFLy]

Nein die Reihenfolge stimmt, da der Nutzer die Messung anfertigt, und dann er selber entscheiden kann ob er die Messung speichern will.

[mkinzler]

Auch dann würde ich die Werte zuerst in die Datenbank schreiben und die Messreihe dann verwerfen.

[Chemiker]

Hallo PhilmacFly,

ich würde an Deiner Stelle das genauso wie von mkinzler vorgeschlagen machen. In meinem Project werden die Daten alle gesammelt. Ein Performanz Verlust ist bis jetzt nicht aufgetreten. Ich habe grade mal die Datensätze mit IBExpert geholt und es sind in 3 Monaten über 5 Mio’s, alle konnte ich nicht hohlen weil dann der Speicher zu Ende war (siehe Anhang).

Bis bald Chemiker