FireDAC: Viele Records einfügen dauert ziemlich lange

[Der schöne Günther]

Zitat von jobo:

Falls auf dem FK ein Index liegt, den solange deaktivieren datenbankseitig, sonst hast Du nicht nur 50T inserts, sondern das gleiche nochmal beim Index.

Ja, tut es. Warum? Keine Ahnung. Ich verstehe nicht mal wirklich was das ist, ich denke mal, das hilft ihm bei SELECT-Statements den Kram schneller zu finden.

Mit der Lese-Dauer bin ich übrigens sehr zufrieden, Löschen dauert deutlich länger, ist aber auch noch akzeptabel. Nur Hinzufügen ist echt schlimm...


Eins verstehe ich nicht: Warum redet Ihr fast alle von einer Query? Es ist eine Tabelle, TFdTable.

Zitat von haentschman:

[...]

"Alles umschmeißen, anderes DMBS nehmen" wollte ich jetzt am wenigsten hören

Zitat von baumina:

DisableControls, falls Du Anzeigekomponenten verbunden hast.

Das übernimmt schon Begin/EndBatch()

Zitat:

Mit der Methode BeginBatch können Sie ressourcenaufwendige Operationen deaktivieren und die Datenmenge so einrichten, dass Aktualisierungen mit maximaler Ausführungsgeschwindigkeit ausgeführt werden. Der Aufruf von BeginBatch deaktiviert:
Die Aktualisierung von datensensitiven Steuerelementen.
Die Aktualisierung von Einschränkungen.
Die Wartung von Aggregaten.
Das Anzeigen von Wartecursors.
Die ähnlich ressourcenaufwendige Verarbeitung in DatS-Objekten, die nicht durch APIs der Datenmenge gesteuert wird.

[haentschman]

Zitat:

"Alles umschmeißen, anderes DMBS nehmen" wollte ich jetzt am wenigsten hören

Nö...so war das nicht gemeint. Nur der Hinweis auf die Blöcke. Ansonsten ist das ganze ja vergleichbar...

[Daniel]

Die FDTable ist eine Kompatibilitäts-Komponente für diejenigen, die von der BDE kommen. Intern werkelt eine - mehr oder weniger speziell konfigurierte - Query.
Wenn es nur um Insert-Statements geht, kannst Du auch ein FDCommand nutzen, welches eine sehr schlanke Komponente für SQLs ohne Ergebnismenge ist.

[jobo]

Zitat von Der schöne Günther:

Zitat von jobo:

Falls auf dem FK ein Index liegt, den solange deaktivieren datenbankseitig, sonst hast Du nicht nur 50T inserts, sondern das gleiche nochmal beim Index.

Ja, tut es. Warum? Keine Ahnung. Ich verstehe nicht mal wirklich was das ist, ich denke mal, das hilft ihm bei SELECT-Statements den Kram schneller zu finden.

Eins verstehe ich nicht: Warum redet Ihr fast alle von einer Query? Es ist eine Tabelle, TFdTable.

So soll das ja sein ein Index auf Fremdschlüsselfelder, alles gut.
Bei massiven Datenbewegungen (Insert oder Update) auf dem Schlüsselfeld ist der Index leider kontraproduktiv, er ist hauptsächlich eine Hilfe beim schnellen Select.
Der Vorschlag ist aber eher was für den Fall, dass Du mit Delphi Bordmitteln nicht so schnell wirst, wie Du möchtest.

Es reden alle von Query, weil da vermutlich die Erfahrung raus spricht, dass ein Dataset/Table für sowas nicht so geeignet ist.

Mach Dir ein Query Komponente aufs Formular, schreib das Insert Statement rein (parametriert) und fülle die Parameter aus Deinem Memdataset.
Das dann in eine Schleife und Du wirst es wahrscheinlich verstehen, woher die Empfehlung kommt.
Das Queryobjekt oder ein Command schickt einfach die Daten zum Server. Es gibt nahezu kein Overhead im Handling. Das ist beim Dataset eben etwas anders.

[Der schöne Günther]

Der goldene Weg ist es sicher nicht, aber ich habe statt

Delphi-Quellcode:

meinDataset.Append();
[...]
meinDateSet.Post();

nun mal gesagt

meinDataSet.ExecSQL(sqlString, [param1, param2, param3]);
und es ist schon mal 50% schneller. Die Tabellenkomponente benutze ich tatsächlich auch nur zum Einfügen. Hm...

[Daniel]

Da könntest Du auch das ExecSQL der Connection nutzen. Wenn Dir das langt, sparst Du Dir die zusätzliche Komponente.

[Der schöne Günther]

Habe ich grade versucht, das spart auch etwas, ist aber kein bedeutender Unterschied. Zwei Sekunden für 20.000 Records ist immer noch ziemlich hart. Ich schaue mal ob ich mit dem Index irgendwie etwas machen kann...

[haentschman]

Zitat:

und es ist schon mal 50% schneller

...das meinte ich mit direktem SQL... Deine Anzahl an Inserts reicht an Masseninserts heran. Wieviele "Durchläufe" deiner 50000 Inserts sind im Laufe eines Jahres zu erwarten? Ggf. mußt du dir auch über die Datenmenge im Gesamten Gedanken machen...

[Sir Rufo]

Der Standardweg sollte immer so ablaufen:

Delphi-Quellcode:

Connection.StartTransaction;
try

  // Viele Datensätze einfügen
  for idx := 1 to 30000 do
  begin
    ...
    Connection.ExecSQL(sqlString, [param1, param2, param3]);
  end;

  Connection.Commit;
except
  Connection.Rollback;
  raise;
end;

Schneller sind dann nur noch BULK INSERTS

[Der schöne Günther]

Zitat von haentschman:

Wieviele "Durchläufe" deiner 50000 Inserts sind im Laufe eines Jahres zu erwarten?

Bis zu ein, zwei Dutzend täglich
Aber 50.000 ist ein Extremfall, ich rechne im Schnitt eher mit einem Zehntel der Menge.

Zitat von Sir Rufo:

Der Standardweg sollte immer so ablaufen:

Tut er
Nur meine Advantage-Datenbank ist die lokale Freeware-Version und hat keine Transaktionen, da sind das nur leere Dummies. Der Monster-Zeitanteil geht wahrscheinlich tatsächlich dafür drauf dass er nach jedem Record schaut ob die referentielle Integrität beim FKEY noch gegeben ist. Würde er das einmal am Schluss machen wäre es bestimmt schneller. Ach ja ...