Jetzt dache ich, ich durchlaufe die
Query und exportiere die Daten ohne die Feldbezeichner einfach als Array von Werten.
Wenn ich dich richtig verstehe, hast du direkten Zugriff auf die FireDAC
Query. Wenn es nur auf die Größe der JSON-Datei ankommt, dann packe sie. Ist dir die Struktur wichtig, kannst du es mit
mORMot2 einfach erledigen. In mORMot gibt es verschiedene Wege. Weil ich einige Varianten schon in Artikeln oder Post im Forum vorgestellt habe, kommt heute mORMot
TDynArray zum Einsatz. Es umhüllt alle Arten von dynamischen Arrays und stellt ca. 80 Eigenschaften und Funktionen für die Bearbeitung bereit. Egal ob es sich um ein
array of Integer
,
array of String
oder
array of "record"
handelt.
TDynArray selbst hat keine Daten! Für die Lösung der Aufgabe wird ein
array of array of Variant
definiert. Dieser Typ reicht für die Aufgabe, weil jeder Datensatz, als auch die Anzahl der Datensätze handhabbar sind. Als Benchmark: Der Aufbau der Liste und die JSON Serialisierung für 1M Datensätze im gewünschten Format benötigt ca.
0,5 Sekunden. An der Gesamtlaufzeit ist dieser Teil vernachlässigbar klein. Entscheidend ist, wie schnell die
Query die Daten liefert. In den Benchmarks schlägt sich
FireDAC durchschnittlich. Wenn die Datenbank vor Ort ist, werden es geschätzt 50K Datensätze pro Sekunde bestimmt sein. Damit ist die Aufgabe in ca. 10 Sekunden erledigt. Den folgenden Quelltext habe ich aus den Kopf geschrieben, weil ich schon länger die mORMot Connection Klassen und nicht die Delphi Vorgehensweise nutze.
Delphi-Quellcode:
uses
mormot.core.base,
mormot.core.data,
mormot.core.text,
mormot.core.perf,
mormot.core.os;
type
TVariantDynArrayDynArray = array of array of Variant;
var
idxPersonID, idxName, idxTitel, idxVorname, idxGeburtsdatum, idxPersonalNr, idxEintrittsjahr, idxFachNr, idxFach: Integer;
dynArr: TDynArray;
arrItem: TVariantDynArray;
arrList: TVariantDynArrayDynArray;
arrListCount: Integer;
timer: TPrecisionTimer;
begin
idxPersonID := qrPersonen.FindField('PERSONID').Index;
idxName := qrPersonen.FindField('NAMEN').Index;
idxTitel := qrPersonen.FindField('TITEL').Index;
idxVorname := qrPersonen.FindField('VORNAME').Index;
idxGeburtsdatum := qrPersonen.FindField('GEBURTSDATUM').Index;
idxPersonalNr := qrPersonen.FindField('PERSONALNR').Index;
idxEintrittsjahr := qrPersonen.FindField('EINTRITTJAHR').Index;
idxFachNr := qrPersonen.FindField('FACHNR').Index;
idxFach := qrPersonen.FindField('FACH').Index;
dynArr.Init(TypeInfo(TVariantDynArrayDynArray), arrList, @arrListCount);
dynArr.Capacity := 1 shl 18;
SetLength(arrItem, 10);
timer.Start;
qrPersonen.First;
var run: Integer := 1;
while not qrPersonen.EoF do
begin
arrItem[0] := run;
arrItem[1] := qrPersonen.Fields[idxPersonID].AsLargeInt;
arrItem[2] := qrPersonen.Fields[idxName].AsString;
arrItem[3] := qrPersonen.Fields[idxTitel].AsString;
arrItem[4] := qrPersonen.Fields[idxVorname].AsString;
arrItem[5] := qrPersonen.Fields[idxGeburtsdatum].AsString;
arrItem[6] := qrPersonen.Fields[idxPersonalNr].AsString;
arrItem[7] := qrPersonen.Fields[idxEintrittsjahr].AsInteger;
arrItem[8] := qrPersonen.Fields[idxFachNr].AsLargeInt;
arrItem[9] := qrPersonen.Fields[idxFach].AsString;
dynArr.Add(arrItem);
Inc(run);
qrPersonen.Next;
end;
FileFromString(dynArr.SaveToJson, MakePath([Executable.ProgramFilePath, 'data.json']));
ShowMessage(timer.Time);
Solltest du die mORMot Lösung umsetzen, würde ich mich über eine Rückmeldung mit Benchmark (
DB, CPU, SSD Anbindung und Geschwindigkeit) Laufzeit freuen.
Bis bald...
Thomas