SQLite - Insert / Update beschleunigen

[user0815]

Hallo, ich muss eine grössere Anzahl von Edit Feldern sichern & nutze dazu den nachfolgenden Code.
Das Ausführen dauert ~ 5 sec bei 60 Feldern.

Frage: Kann ich das ganze beschleunigen (sitzt z.B. StartTransaction, ... an der richtigen Stelle) ?

Delphi-Quellcode:

  for i := 0 to X do
  begin
    // Variablen füllen
    ...

    // Check vorhanden
    with Datenmodul.ZQuery1 do
    begin      
      with SQL do
      begin
        clear;
        ParamCheck := true;
// Select
        Add('SELECT ID FROM T_TABELLE');
        Add('WHERE Feld = :Feld;');

        ParamByName('Feld').AsInteger := Variable;
      end;
      open;

      if RecordCount = 0 then
      begin
// Insert
        with SQL do
        begin
          clear;

          Add('INSERT INTO T_TABELLE');
          Add('(Feld1, Feld2, Feld3)');
          Add('VALUES');
          Add('(:Feld1, :Feld2, :Feld3);');

          ParamByName('Feld1').AsString := Variable1;
          ParamByName('Feld2').AsString := Variable2;
          ParamByName('Feld3').AsString := Variable3;
        end;
      end
      else begin
        ID := FieldByName('ID').AsInteger; // aus dem Select

// Update
        with SQL do
        begin
          clear;

          Add('UPDATE T_TABELLE');
          Add('SET');
          Add('Feld3 = :Feld3');
          Add('WHERE ID = :ID;');

          ParamByName('Feld3').AsString := Variable3;
          ParamByName('ID').AsInteger := ID;
        end;
      end;

      Datenmodul.ZConnection.StartTransaction;
      try
        ExecSQL;
      except
        Datenmodul.ZConnection.Rollback;
      end;
      Datenmodul.ZConnection.Commit;
    end; // Query

  end; // for

  Datenmodul.ZQuery1.close;

[jobo]

Bist Du Dir sicher, dass ParamByName in den Loops Sinn macht?
Wieviele Datensätze sind jeweils betroffen?
Ist nicht eher das "Select where feld=:wert" zu Anfang die Bremse(Index,große Tabelle)?
Insert/Update sollte unproblematisch sein, außer du hast mit dem Programm und clientseitiger Transactionskontrolle (würde ich nie nutzen) konkurrierende Zugriffe (Locks) durch verschiedene Anwender.

[DeddyH]

Ich wundere mich, dass das überhaupt funktioniert, wenn Du in der offenen Query das SQL änderst und Parameterwerte aus der Ergebnismenge verwendest. Wäre es nicht besser, eine zweite Query für das INSERT/UPDATE zu benutzen?

[mkinzler]

Ich würde beide Abfragen zu einer verschmelzen

[p80286]

Zitat:

Zitat von DeddyH (Beitrag 1110031)

Wäre es nicht besser, eine zweite Query für das INSERT/UPDATE zu benutzen?

Auf jeden Fall!
Es könnte auch sein, daß damit die Bremse gelöst wäre.

Gruß
K-H

[user0815]

@jobo: Index ist gesetzt. Die Datenmenge beträgt zur Zeit allerdings auch nur 3k.
@DeddyH: zweite Query für das INSERT/UPDATE -> gemacht, hat nichts gebracht
@mkinzler: Ich würde beide Abfragen zu einer verschmelzen -> ?


Habe StartTransaction vor die Schleife gesetzt & Commit hinter das Schleifenende. Jetzt geht es schnell.

Delphi-Quellcode:

Datenmodul.ZConnection.StartTransaction;

for ...

  try
    ExecSQL;
  except
    Datenmodul.ZConnection.Rollback;
  end;

end;

Datenmodul.ZConnection.Commit;

Frage: Sitzt das try Except an der richtigen Stelle ?

[DeddyH]

Wie wäre es denn so?

SQL-Code:

/* Abfrage der Anzahl der passenden Datensätze */
SELECT
  COUNT(*) AS Anzahl
FROM
  T_TABELLE
WHERE
  Feld = :Wert

Kommt im Feld Anzahl eine 0 zurück, INSERT-Statement wie gehabt, ansonsten

SQL-Code:

UPDATE
  Tabelle
SET
  Feld3 = :Feld3
WHERE 
  ID IN(
    SELECT
      ID
    FROM
      T_TABELLE
    WHERE
      Feld = :Wert)

[user0815]

@DeddyH: Hatte den Code gekürzt. Das Select liefert wenn, dann nur einen Datensatz als Ergebnis zurück.

[DeddyH]

Kannst Du dann nicht direkt das Update ausführen und AffectedRows oder sowas in der Art auswerten? Wenn kein Datensatz betroffen war, dann das INSERT hinterherschieben.

[haentschman]

Hallo...

Zitat:

Habe StartTransaction vor die Schleife gesetzt & Commit hinter das Schleifenende. Jetzt geht es schnell

Das Commit gehört aber in den try/except Block. Sollte beim Commit was schieflaufen wird ein Rollback ausgeführt. Ansonsten ist deine Transaktion evt. noch offen. (Sollte der Fehler andersweitig abgefangen werden)

[FredlFesl]

Ein Refactoring könnte sinnvoll sein, hinterher sollte das so aussehen:

Delphi-Quellcode:

StartTransaction;
Try
  PerformDataUpdate;
  CommitTransaction;
Except
  On E:Exception Do Begin
    RollbackTransaction;
    HandleException(E);
  End
End;

Und z.B.

Delphi-Quellcode:

Procedure PerformDataUpdate;
Var
  i : Integer;

Begin
  For i:=0 to X-1 Do
    PerformSingleRecordUpdate(Data[i]);
End;

und

Delphi-Quellcode:

Procedure PerformSingleRecordUpdate(aRecord : TMyData);
Begin
  If RecordExists(aRecord) then
    PerformSQLUpdate(aRecord)
  Else
    PerformSQLInsert(aRecord);
End;

Delphi-Quellcode:

Function RecordExists (aREcord : TMyData) : Boolean;
Begin
  Result := PerformSQLSelect('Select * from MyDatable Where PKField = '+aRecord.PkField).RecordsAffected > 0;
End;

usw.
PS: Wie machst Du das eigentlich mit gelöschten Daten?

[DeddyH]

Eine Transaktion bedeutet ja "Alles oder Nichts", d.h. man muss sich überlegen, welche Daten unabdingbar zusammengehören. Im Fehlerfall werden dann natürlich alle Änderungen innerhalb der aktuellen Transaktion verworfen. Außerdem sollte man nach Möglichkeit lang laufende Transaktionen vermeiden. Aus diesem Grund ist es z.B. ungeschickt, Daten clientseitig zu bearbeiten und einzelne Update-Befehle zum Server zu schicken, wenn man das per SQL auch auf den Server abwälzen kann (gut, bei einem INSERT wird das ja nicht anders gehen als Einzelbefehle). Hat man sehr viele Daten, die nicht funktional voneinander abhängig sind, kann ein Commit alle X Datensätze nicht schaden. Man muss sich ja auch vor Augen halten, dass jede Transaktion den Server belastet, schließlich muss er den ganzen Schmu ja erstmal cachen.