Firebird wird beim Append von Datensätze immer langsamer

[mkinzler]

Zitat:

Insgesamt haben die Maßnahmen dafür gesorgt, dass ein Datensatz in ca. 1 sek angelegt wird.

Was ja noch nicht berauschend ist.

Zitat:

Was auf jeden Fall stört ist die BDS 2006, weil mit zunehmender Zeit immer mehr virtueller Speicher verbraucht wird, ohne dass man irgendetwas mit ihr macht.

Ist auch nicht normal
Ich würde aber auf jeden Fall ein parametrisiertes Insert-Statement verwenden

[haentschman]

Zitat:

Was ja noch nicht berauschend ist.

...ist eine Katastrophe

Zitat:

Ich würde aber auf jeden Fall ein parametrisiertes Insert-Statement verwenden

...ist zwingend notwendig !

[Chemiker]

Hallo,

ich habe mich wohl etwas verrechnet, bei der Ausgabe von Gettickcount, man sollte msec in sek schon richtig umrechnen.
Zurzeit legt das Programm ca. 100 Datensätze in der Sekunde an. Und die CPU-Zeit liegt bei ca. 40-60% nur, sie lag vorher bei 90-100%.

Bis bald Chemiker

[Chemiker]

Hallo,

der Rechner ist in der Nacht durchgelaufen und es sind ca. 730.000 Datensätze eingefügt worden, zu Anfang sind 180 Datensätze in der Sek. eingefügt worden. Diese Zahl ging aber kontinuierlich runter, um schließlich bei 730.000 Datensätzen im Durchschnitt bei ca. 23 Datensätzen pro sek. zu landen.

Bis bald Chemiker

[mkinzler]

Wie gesagt, verwende explizite Transaktionskontrolle, fasse einige Inserts zusammen und verwende ein parametrisiertes Insert-Statement.

[globetrotter77]

Der DBGrid ist ein gnadenloser Bremser!
Habe ich selbst schon erlebt.
Ist ja auch klar, wenn man sich vorstellt, dass nach jedem neu eingefügten oder angehängten Datensatz die komplette Darstellung neu erfolgen muss.
Seitdem stelle ich bei solchen Aktionen immer um auf

DBGrid.Visible:=true; und nach Ende der Schleife wieder auf

DBGrid.Visible:=false; Um beobachten zu können,ob sich noch was tut, kannst Du beispielsweise im StatusBar die aktuelle Anzahl der Datensätze anzeigen.

StatusBar.Panels[0].Text:=IntToStr(DataSetXY.RecordCount); die Anzeige evtl. auch nur alle 100 oder 1000 Datensätze aktualisieren:

Delphi-Quellcode:

if RecordCount mod 100 = 0 then
  ...

Probier's mal aus!

PS: die Sache mit den noch nicht abgeschlossenen Transaktionen stimmt natürlich trotzdem!

[edit=mkinzler]Delphi-Tags eingefügt Mfg, mkinzler[/edit]

[globetrotter77]

Zitat von Chemiker:

Delphi-Quellcode:

  StrText:= copy (strSende,2,5); // Nur die ersten 5 Zeichen übernehmen.StrSende[1,3];
  dbZahl:= strToFloat(copy(strSende,7,Length(strSende)-7));

Bevor du dir Schrottdaten generierst, solltest du die beiden Zeilen auch noch mal überarbeiten!
Im Augenblick enthält StrText die Stellen 2-6 und bei dbZahl fehlt die letzte Stelle von StrSende

[Chemiker]

Hallo globetrotter77,

das DBGrid ist raus. Und ob es ausreicht DBGrid.Visible auf FALSE zu stellen bezweifle ich. Dann schon besser wie haentschman geschrieben hat, die Controls mit pFIBDataSet.DisableControls auf FALSE stellen.

Um die Datensätze zu Zählen habe ich sowieso einen Zähler der bei jedem Anfügen um 1 erhöht wird.

Zitat von globetrotter77:

Bevor du dir Schrottdaten generierst, solltest du die beiden Zeilen auch noch mal überarbeiten!
Im Augenblick enthält StrText die Stellen 2-6 und bei dbZahl fehlt die letzte Stelle von StrSende

Das sind keine Schrottdaten, weil der String von einem SPS geliefert wird und folgende Form hat.

#2 K01T1 Zahl als String #3 , wobei #2 STX ist und #3 ETX ist, diese beiden Zeichen die den Anfang und das Ende des Übertragungsstrings bilden werden für das Speichern in die Datenbank nicht gebraucht.


Bis bald Chemiker

[globetrotter77]

Zitat:

Das sind keine Schrottdaten

Ich meinte das auch nicht negativ, sondern mir ist aufgefallen, dass du was anderes rausholst als du im Kommentar erwähnst. Und dann werden aus den schönen Daten ganz leicht Schrottdaten.
Aber ich dachte mir schon, dass es auch was mit Steuerzeichen zu tun haben könnte.

Bei mir hat das Umstellen auf Visible=false enorm was gebracht.
Bei 100000 Datensätzen kann man noch ganz gut zuschauen.
Noch besser ist es natürlich für so ne Sonderaktion das Grid gleich gar nicht erst einzubauen.

[globetrotter77]

habe nochmal nachgeschaut und siehe da, ich habe mich getäuscht:
ich stelle nicht Visible um, sondern DataSource, damit ist es überhaupt nicht mehr betroffen.

DBGrid1.DataSource:=NIL;

und danach wieder

DBGrid1.DataSource:=DataSource1;

und zur Kontrolle, was passiert:

procedure TForm1.DataSource1DataChange(Sender: TObject; Field: TField);
begin
with Table1 do
StatusBar1.Panels[0].Text:=
IntToStr(RecNo)+'/'+IntToStr(RecordCount);
Application.ProcessMessages;
end;