Firedac als JSON ohne Feldbezeichner exportieren

[Uwe Raabe]

Zitat:

Zitat von TBx (Beitrag 1521454)

Du kannst vermutlich eine Menge Zeit einsparen, wenn Du die Felder nicht für jeden Datensatz sondern einmal vor der Schleife ermittelst:

Das ist schon eine Weile nicht mehr wirklich relevant, da das DataSet die Felder in einem Dictionary vorhält. Man spart sicher schon noch etwas, aber es ist nicht mehr so gravierend wie früher.

[Kostas]

Zitat:

Zitat von mytbo (Beitrag 1521437)

...
Solltest du die mORMot Lösung umsetzen, würde ich mich über eine Rückmeldung mit Benchmark (DB, CPU, SSD Anbindung und Geschwindigkeit) Laufzeit freuen.

Bis bald...
Thomas

Hallo Thomas,
Das MARS Projekt nutzt ebenfalls Elemente von mormot. Um meine Installation nicht zu beschädigen werde ich die Tage ein SnapShot machen, mormot installieren und den Test durchführen. Es dauert noch etwas bis ich dazu kommen aber du bekommst den Benchmark.

Gruß Kostas

[Kostas]

Zitat:

Zitat von himitsu (Beitrag 1521438)

Aber gerade bei

SQL-Code:

SELECT *

ist es grob fahrlässig, wenn man die Feldbezeichner weglässt. :freak:

OK, eine definierte Reihenfolge (im Select oder beim Auslesen) wäre eine andere Lösung.

Meine Query ist deutlich komplexer und hat einige Joins und auch kein select *. Für den Fall ist das SQL jedoch nicht wichtig. Deshalb habe ich eine abgespeckte Version angeboten.

Gruß Kostas

[Kostas]

Zitat:

Zitat von Uwe Raabe (Beitrag 1521439)

Zitat:

Zitat von Kostas (Beitrag 1521436)

da ich innerhalb des anonymen Threads auf das FD Object

Delphi-Quellcode:

FD.CreateQuery('');

nicht zugreifen kann.

Um mit der Query im Thread zu arbeiten, brauchst du eine multi-thread fähige Umgebung mit mindestens einer pooled Connection-Definition (FDManager.AddConnectionDef). Dann könntest du folgende Methode im Thread ausführen:

Delphi-Quellcode:

procedure WritePersonen(const AFileName: string);
begin
  var conn := TFDConnection.Create(nil);
  try
    conn.ConnectionDefName := 'MyPooledConnectionDefName'; // oder wie die eben heißt
    var qry := TFDQuery.Create(nil);
    try
      qry.Connection := conn;
      qry.Open('SELECT * FROM PERSONEN');
      var writer := TJsonTextWriter.Create(TStreamWriter.Create(AFileName, True, TEncoding.UTF8), True);
      try
        writer.WriteStartArray;
        while not qry.Eof do begin
          writer.WriteStartArray;

          writer.WriteValue(qry.FieldByName('PERSONID').AsLargeInt);
          writer.WriteValue(qry.FieldByName('NAMEN').AsString);
          writer.WriteValue(qry.FieldByName('TITEL').AsString);
          writer.WriteValue(qry.FieldByName('VORNAME').AsString);
          writer.WriteValue(qry.FieldByName('GEBURTSDATUM').AsString);
          writer.WriteValue(qry.FieldByName('PERSONALNR').AsString);
          writer.WriteValue(qry.FieldByName('EINTRITTJAHR').AsInteger);
          writer.WriteValue(qry.FieldByName('FACHNR').AsLargeInt);
          writer.WriteValue(qry.FieldByName('FACH').AsString);

          writer.WriteEndArray;
          qry.Next;
        end;
        writer.WriteEndArray;
      finally
        writer.Free;
      end;
    finally
      qry.Free;
    end;
  finally
    conn.Free;
  end;
end;

Das habe ich jetzt umgesetzt und funktioniert einwandfrei. Der Gesamte Ablauf dauert 1.5min in einem Anonymous Thread das ist perfekt.
Den TJsonTextWriter kannte ich bisher auch nicht, ist viel eleganter wie mein Weg.

Vielen herzlichen Dank Uwe, ich weis das sehr zu schätzen. Du hast mir persönlich so oft geholfen, du bist wirklich eine große Bereicherung für das Forum. Von deinem Kaliber gibt es noch weitere die ich sehr Schätze wie z.B. himitsu um nur einen von vielen weiteren zu nennen.

Gruß Kostas

[Kostas]

Zitat:

Zitat von MyRealName (Beitrag 1521452)

Warum nennst Du die Felder im Query denn nicht um, damit die weniger Platz wegnehmen ?

Code:

Select Id AS "1", Vorname AS "2" FROM Personen

Sowas in der Richtung.

Auf die einfachste Möglichkeit hätte ich kommen können. Vielen Dank dafür. Mittlerweile habe ich die perfekte Lösung aber an Field Alias denke ich viel zu selten.

Gruß Kostas

[himitsu]

Geht es nur um einen einzelnen Record, oder um das ganze Dataset?

Natürlich wäre es da intelligenter, wenn der Exporter die Namen nur einmal in einem Header-Array erwähnt und dann die Fields/Records nur noch als JsonArray, anstatt als JsonObject.


FireDAC nutzt für das SavaToFile/Stream mit sfJSON ja den TFDStanStorageJSONLink.
Dieser hat keine Parameter, aber bestimmt könnte man ihn ableiten oder nachbauen und dann ein besseres Format bereitstellen.

[Kostas]

Hallo himitsu,

das result verarbeitet eine PWA Webanwendung die ebenfalls von uns ist. Somit ist das Format egal.
Die Daten werden für einen offline Betrieb der App benötigt. Es sind zwei Tabellen. Eine davon mit ca. 500.000 Records und eine zweite als Details Tabelle mit etwa 270.000 Records. Dier App läuft als PWA auf jedes Device also auch am smarth phones, tablets usw. Das Abrufen der Daten von dem REST-API Server direkt als GET Endpoint hat zu lange gedauert. Ich bin immer auf ein timeout gekommen. Durch den jetzigen Umbau nur die Feldwerte zu übertragen ist es deutlich schneller und viel weniger Daten die übertragen werden müssen. Jetzt übertrage ich also zwei JSON Files eines 50mb und das zwei 11MB. Als File geht das sehr schnell. Der Json Inhalt wird in einer Indexed DB geschrieben als ein Record. Ich spare mir also auch die inserts in der DB. Das Frontend ist umgesetzt in React.js und ant.design. Der Anwender muss die Datenquelle nicht komplett sehen. Er such nach einen Begriff und die Records werden angezeigt. Das funktioniert alles Pfeilschnell und kann durch PWA auch offline genutzt werden.

[mytbo]

Zitat:

Zitat von Kostas (Beitrag 1521465)

Das MARS Projekt nutzt ebenfalls Elemente von mormot. Um meine Installation nicht zu beschädigen werde ich die Tage ein SnapShot machen, mormot installieren und den Test durchführen. Es dauert noch etwas bis ich dazu kommen aber du bekommst den Benchmark.

Danke für den Test. Meine Lösung von gestern Abend war etwas verspielt. Ich dachte, es ist eine selten genutzte Funktion und damit eine gute Gelegenheit etwas Ausgefallenes aus der mORMot Bibliothek vorzustellen. Die schnellen TextWriter Klassen von mORMot hatte ich im Forum schon vorgestellt, sind hier aber die richtige Wahl. Die Klasse TJsonWriter aus der Unit mormot.core.json ist in meinen Tests größer Faktor 400 schneller als die Delphi Klasse TJsonTextWriter. Für 500K Datensätze ist die Laufzeit kleiner 100 Millisekunden und damit ca. Faktor 4 schneller als mein erster Vorschlag Variant-Array. Das wird deinem Vorhaben einen zusätzlichen Push geben. Schreibe es so:

Delphi-Quellcode:

qrPersonen.First;
var run: Integer := 1;
var w: TJsonWriter := TJsonWriter.CreateOwnedFileStream(MakePath([Executable.ProgramFilePath, 'data.json']));
try
  w.Add('[');
  while not qrPersonen.EoF do
  begin
    w.Add('[');
    w.AddCsvConst([run,
      qrPersonen.Fields[idxPersonID].AsLargeInt;
      qrPersonen.Fields[idxName].AsString;
      qrPersonen.Fields[idxTitel].AsString;
      qrPersonen.Fields[idxVorname].AsString;
      qrPersonen.Fields[idxGeburtsdatum].AsString;
      qrPersonen.Fields[idxPersonalNr].AsString;
      qrPersonen.Fields[idxEintrittsjahr].AsInteger;
      qrPersonen.Fields[idxFachNr].AsLargeInt;
      qrPersonen.Fields[idxFach].AsString
    ]);
    w.Add(']');
    w.AddComma;
  end;
  w.CancelLastComma;
  w.Add(']');
finally
  w.FlushFinal;
  w.Free;
end;

Bis bald...
Thomas

[Union]

Ein Webservice, der potentiell eine so große Datenmenge zurückgibt, sollte mit Paging arbeiten und dies in der API parametrisierbar machen. Die Parameter können dann entsprechend für die Queries verwendet werden; die meisten DB-Server behalten die inner Query im Cache (jedenfalls nach meinen bisherigen Erfahrungen und Messungen):

Delphi-Quellcode:

select 
{LIMIT(0, 100)}
* from
(select * from &Tablename) innerquery

[Kostas]

Zitat:

Zitat von mytbo (Beitrag 1521488)

Zitat:

Zitat von Kostas (Beitrag 1521465)

Das MARS Projekt nutzt ebenfalls Elemente von mormot. Um meine Installation nicht zu beschädigen werde ich die Tage ein SnapShot machen, mormot installieren und den Test durchführen. Es dauert noch etwas bis ich dazu kommen aber du bekommst den Benchmark.

Danke für den Test. Meine Lösung von gestern Abend war etwas verspielt. Ich dachte, es ist eine selten genutzte Funktion und damit eine gute Gelegenheit etwas Ausgefallenes aus der mORMot Bibliothek vorzustellen. Die schnellen TextWriter Klassen von mORMot hatte ich im Forum schon vorgestellt, sind hier aber die richtige Wahl. Die Klasse TJsonWriter aus der Unit mormot.core.json ist in meinen Tests größer Faktor 400 schneller als die Delphi Klasse TJsonTextWriter. Für 500K Datensätze ist die Laufzeit kleiner 100 Millisekunden und damit ca. Faktor 4 schneller als mein erster Vorschlag Variant-Array. Das wird deinem Vorhaben einen zusätzlichen Push geben. Schreibe es so:

Delphi-Quellcode:

qrPersonen.First;
var run: Integer := 1;
var w: TJsonWriter := TJsonWriter.CreateOwnedFileStream(MakePath([Executable.ProgramFilePath, 'data.json']));
try
  w.Add('[');
  while not qrPersonen.EoF do
  begin
    w.Add('[');
    w.AddCsvConst([run,
      qrPersonen.Fields[idxPersonID].AsLargeInt;
      qrPersonen.Fields[idxName].AsString;
      qrPersonen.Fields[idxTitel].AsString;
      qrPersonen.Fields[idxVorname].AsString;
      qrPersonen.Fields[idxGeburtsdatum].AsString;
      qrPersonen.Fields[idxPersonalNr].AsString;
      qrPersonen.Fields[idxEintrittsjahr].AsInteger;
      qrPersonen.Fields[idxFachNr].AsLargeInt;
      qrPersonen.Fields[idxFach].AsString
    ]);
    w.Add(']');
    w.AddComma;
  end;
  w.CancelLastComma;
  w.Add(']');
finally
  w.FlushFinal;
  w.Free;
end;

Bis bald...
Thomas

Hi Thomas,

ich installiere Mormot V2 oder? https://github.com/synopse/mORMot2