Hallo,

ich habe viele Datensätze in eine SQLite-Datenbank zu schreiben, unter Windows dauert das nur ca. 10 Sekunden,
unter Android, der eigentlichen Anwendung braucht der Anwender viel Geduld, da gehen schon mal bis 5 Minuten drauf um ca. 10000 Datensätze mit jeweils ca. 15 Feldern zu schreiben!

Jetzt suche ich Möglichkeiten das zu beschleunigen:

Bisher habe ich sinngemäß folgendes gemacht:

markieren

Delphi-Quellcode:

FDQuery.Append;
FDQuery.Edit;
FDQuery.fieldByName('xxxx').AsString := 'asdffghg';
FDQuery.post;

Jetzt habe ich alle INSERTS in einer Stringlist und arbeite diese so ab:

markieren

Delphi-Quellcode:

    FDQuery.SQL.Text := 'BEGIN TRANSACTION;';
    FDQuery.ExecSQL;
    for s := 0 to SQLList.Count - 1 do
    begin
      FDQuery.SQL.Text := SQLList[s];
      FDQuery.ExecSQL;
    end;
    // abschicken
    FDQuery.SQL.Text := 'COMMIT;';
    FDQuery.ExecSQL;

Das geht minimal schneller, vielleicht 4 anstelle 5 Minuten

Was ist bei mir die Bremse oder geht das auf einem Handy wirklich alles so langsam, hat jemand eine Idee wo ich ansetzen könnte?

Ciao
Stefan

Testweise einmal ohne Transaktion probiert?

Auch: Kenne mich mit Datenbanken nicht so wirklich aus, aber konnte man Statements nicht irgendwie "preparen" und am Schluss nur für jeden Datensatz die Parameter neu setzen?

Vor der Schhleife:
- Insert-Statement mit Parametern formulieren und der Query zuweisen
- Prepare aufrufen

In der Schleife:
- Parameter füllen
- ExecSQL ausführen

Dann muss das SQL nur 1 mal geparsed werden.

Dennoch finde ich den Unterschied Windows <-> Android zu hoch.
Was hast du denn für ein Android-Gerät?

SQLite ist eventuell nicht die richtige Datenbank für das Datenvolumen?

Sherlock

Zitat von Sherlock:

SQLite ist eventuell nicht die richtige Datenbank für das Datenvolumen?

Sherlock

Das glaube ich weniger. Im Netz schwirren Aussagen rum, dass SQLite mit 50GB Daten problemlos funktioniert. Dementsprechend viele Zeilen und Spalten hat die Datenbank dann auch.

Es gibt eine alte Seite auf der SQLite HomePage. Dort werden Geschwindigkeiten verglichen in denen eine alte Version von SQLite schon sehr gut abgeschnitten hat. Allerdings steht auch in roter Schrift darüber, dass diese Seite nicht mehr aussagekräftig ist. Deshalb verlinke ich die hier jetzt mal nicht. Über Google kann man die aber sehr schnell selbst finden wenn man sie denn sehen möchte.

So, nachdem ich alle Eure Tips getestet und teilweise umgesetzt habe (je nach Verbesserung der Laufzeit) bin ich jetzt von meinen 4-5 Minuten auf ca. 20 Sekunden herunter, dazu ein Fortschrittsbalken für den Anwender und alles ist gut!

Danke für Eure Tips!

Ciao
Stefan

Zitat von Olli73:

Vor der Schhleife:
- Insert-Statement mit Parametern formulieren und der Query zuweisen
- Prepare aufrufen

In der Schleife:
- Parameter füllen
- ExecSQL ausführen

Dann muss das SQL nur 1 mal geparsed werden.

Dennoch finde ich den Unterschied Windows <-> Android zu hoch.
Was hast du denn für ein Android-Gerät?

Das ist ein recht betagtes Hannspree Tablet mit Android 4.4.2, wobei, auf meinem Galaxy S5 oder Galaxy Tab4 läuft es auch nicht wesentlich schneller...

Könntest Du bitte Deinen Tip mal in ein paar Beispielzeilen Code zeigen?
Prepare und Parameter sind mir momentan nicht geläufig, Datenbanken sind Neuland für mich.

Ciao
Stefan

Hi,

hier ein Beispiel wie ich unter iOS und Android ganz gute Performance erreiche:

markieren

Delphi-Quellcode:

            mySQLQuery.Sql.Text := 'INSERT INTO jobVollmacht (pid, gesellschaft, art, zeitpunkt) '+
              'VALUES (:pid, :gesellschaft, :art, :zeitpunkt)';
            mySQLQuery.ParamByName('pid').AsString := dbModul.aktPid;
            mySQLQuery.ParamByName('gesellschaft').AsWideString := frmVuAuswahl.lbVuAuswahl.ListItems[i].Text;
            mySQLQuery.ParamByName('art').AsString := 'Teil';
            mySQLQuery.ParamByName('zeitpunkt').AsDateTime := now;
            mySQLQuery.Prepare;
            mySQLQuery.ExecSQL;

Zitat von sko1:

Könntest Du bitte Deinen Tip mal in ein paar Beispielzeilen Code zeigen?
Prepare und Parameter sind mir momentan nicht geläufig, Datenbanken sind Neuland für mich.

markieren

Delphi-Quellcode:

  FDQuery.SQL.Text := 'insert into TABELLE values (:Feld1, :Feld2, ... :FeldN)';
  FDQuery.Prepare;
  for s := 0 to Anz - 1 do begin
    FDQuery.ParamByName('Feld1').AsString := 'Wert'; //oder noch schneller: FDQuery.Params[0].AsString := 'Wert';
    FDQuery.ParamByName('Feld2').AsInteger := Wert;
    ...
    FDQuery.ExecSQL;
  end;

Wenn deine Query auch mehrere SQL-Befehle gemeinsam als Skrip absenden kann, könnte das so schneller gehn:

markieren

Delphi-Quellcode:

 FDQuery.SQL.Text := 'BEGIN TRANSACTION;';
 // in "SQLList" müssen die einzelnen Statements bereits mit ';' abgeschlossen ein
 FDQuery.SQL.Add(SQLList.Text);
 FDQuery.SQL.Add('COMMIT;');
 FDQuery.ExecSQL;

http://docwiki.embarcadero.com/RADSt...tches_(FireDAC)