Hilfe bei Optimierung in SQL

[mkinzler]

Auch ein prepared query, wäre ein Blick wert.

[Pro_RJ]

Ich liste mal die Einstellung der Beteiligten Combs auf:
IBDatabase1:
IdleTimer : 0
traceFlags : Alles auf flase

IBTransaction1:
AutoStopAction : SaNone
DefaultAction : TACommit
IdleTimer : 0

IBSQL1:
GoToFirstRec. False
ParamCheck : True

Zitat von mkinzler:

Auch ein prepared query, wäre ein Blick wert.

Das ist egal da in IBSQL:

Delphi-Quellcode:

procedure TIBSQL.ExecQuery;
var
  fetch_res: ISC_STATUS;
begin
  CheckClosed;
  if not Prepared then
    Prepare;

PS: die IBQuery wird nur zum Ermitteln der Datensätze benötigt.
Die Statements werden über TIBSQL abgesetzt

[mkinzler]

In diesem fall würde ich auf autocommit verzichten und manuell alle x-DS comitten

[Pro_RJ]

AHst du da einen Ungefähren erfahrungswert alle wieviel mal Commit machen sollte.
Aber wenn ich Commit mache scholieße ich ja auch die Query wo meine Datensätze drin sind.Das heist ich muss die Daten ja neu ziehen.
Oder Kann ich da auch ein CommitRetaining machen?
Wobei Ich das Ganze schon gerne in einer ganzen Transaction hätte, da es später in Threads ablaufen soll.

[mkinzler]

Autocommit ruft nach jedem Insert ein CommitRetaining auf, was sich sehr negativ auf die Performance auswirkt. Man könnte sicherlich bis zu 1000 Inserts in einer Transkation ausführen.

[Pro_RJ]

Morgen,
WIe kann ich das AutoCommit ausstellen?

[nahpets]

Hallo,

habe von Interbase, Firebird recht wenig bis keine Ahnung aber bei anderen Datenbanken die Erfahrung gemacht:
Fügt man viele Daten ein und hat dabei 'nen Index zu pflegen (oder gar mehrere), so kann es schneller sein zuerst

• Index löschen

• Dateneinfügen

• Index neu aufbauen

Es ist zumindest einen Versuch wert, wir haben dadurch bei großen Datenmengen schon Tage eingespart.

[Pro_RJ]

Huhu,
Die Idee mit dem Index Deaktivieren ist an sich nicht so verkehrt. das Problem is, das es nur bei Kleinen Tabellen schnell geht.
Nur bei dieser Datenbank ist das problem, das im Moment ca 105 Mio Datensätze in der Tabelle sind, die Einmalig Kopiert werden sollen. der Tägliche Datenabgleich beträgt dann Pro Tag ca 100K Datensätze. Und hier Dauert das Neuaufbauen von Einem Index Locker mal 3 Stunden.

Gibts eventuell andere Komponenten die das Einfügen "schneller" können? Oder gibts eventuell eine ganz andere möglichkeit die Daten zu Kopieren. Ich denke da an die Art und weise, wie es zum Beispiel DataPumb macht oder wie es beim Backup/Restore gemacht wird?

[Blup]

Jede Änderung des SQL-Textes erfordert ein neues Prepare, dehalb beim Insert sinnvoller mit einem festen SQL-Text arbeiten und nur die Parametern ändern.

Alternativ gibt es ab Firebird 2.0 die Möglichkeit mit EXECUTE BLOCK viele Inserts mit einem Komando abzusetzen.
Mit der IBEBlock Scriptsprache (www.ibexpert.com) kann man sogar der gesamte Datentransfer zwischen unterschiedlichen Datenbanken auf dem Server abwickeln.

[nahpets]

Hallo,

könnte hier nur eine Erfahrung mit MS-SQL-Server 2000 beisteuern.

Musste mal eine große Menge von Dateien parsen und die daraus resultierenden Ergebnisse per Insert in drei Tabellen verteilen. Das war grottenlangsam.

Bin dann hergegangen und habe die im Programm erstellen Insert-Statements in einem Memo gesammelt und immer dann, wenn das Memo 20 Zeilen enthielt, den Inhalt des Memos per TQuery.ExecSQL an die Datenbank geschickt. Dadurch wurde der "Spaß" deutlich schneller. Anschließend bin ich hergegangen und habe die Menge der Zeilen im Memo konfigurierbar gemacht, so dass ich über einen Button steuernkonnte, nach wievielen Zeilen im Memo ein Insert angestoßen werden sollte. Bei der Datenbank und dem Server waren es etwa 60 Inserts, die zur besten Geschwindigkeit führten.
Jeder Aufruf von TQuery.ExecSQL wurde in einer eigenen Transaktionsklammer ausgeführt. Da auch hier ab und an Probleme auftraten mit Timeout... habe ich um die Transaktionsklammer noch eine Schleife gelegt, die 10 Versuche startete, bevor sie mit 'ner Exception den Job beendete.

Das ist jetzt nicht gerade eine besonders "professionelle" Lösung, aber eventuell könnte Dir so ein "Hilfsmittel" ja auch behilflich sein.