JSONValue zu wenig Arbeitsspeicher bei Array von 100MB

[stalkingwolf]

Zitat:

Zitat von Bbommel (Beitrag 1485304)

Das ist keine REST-Kompression, sondern eine Kompression auf dem Transportweg. Das soll dafür sorgen, dass die Daten schneller beim Client landen, ändert aber speziell in deinem Fall nichts an der Größe des Arrays im Speicher.

schon klar, es war eher salopp ausgedrückt.

Mit der Kompression wollte ich auch eher die Geschwindigkeit des Transports erhöhen oder einmal testen ob es ein Unterschied ergibt.

nur mal so. 144MB über 1Gbit Netzwerk ( ca 30 Dateien ) dauern 56sek. Das ist ne Hausnummer.
Auf dem Android Tablet was im WLAN hängt dauert es sogar 2min.
Auch Test z.b im RESTClient von Firefox ist nicht schneller.

Zitat:

Zitat von mytbo (Beitrag 1485305)

Hätte ein paar allgemeine Fragen. Du schreibst FMX aber nicht welche Plattform. Könnt/wollt ihr Fremdkomponenten einsetzen? Wie sieht das Schema der JSON-Datei (ein Objekt) aus?

Bis bald...
Thomas

Ich teste das ganze unter Windows, aber nachher läuft dies auf Android. Fremdkomponente brauche ich dafür nun nicht.

[TiGü]

Zitat:

...aber nachher läuft dies auf Android.

Wenn ihr nicht die Binary-Daten aus dem JSON schmeißt, ist das Projekt zum Scheitern verurteilt.

[stalkingwolf]

Zitat:

Zitat von TiGü (Beitrag 1485331)

Zitat:

...aber nachher läuft dies auf Android.

Wenn ihr nicht die Binary-Daten aus dem JSON schmeißt, ist das Projekt zum Scheitern verurteilt.

Naja das Projekt läuft schon seit ein paar Jahren und das bisher ohne Probleme.
Die meisten unserer Kunden haben auch nur ein paar Dateien und meistens kleinere PNG oder PDF Dateien.

Wir haben nur nun einen Kunden der relativ viele Dateien runterlädt.
Das ist auch nur ein einmaliger Vorgangs morgens. Wenn der ein paar Minuten dauert ist das aktuell nicht so tragisch.

aber ich habe es hier intern schon besprochen das wir dafür eine andere Lösung benötigen.
Danke für das ganze Feedback.

[Union]

Wie bereits erwähnt, könntest Du mit TJSONTextReader beliebig große Daten sequentiell verarbeiten, ohne das gesamte JSON in mehrere riesige Objekte umwandeln zu müssen. Als Input würde der Responsestream verwendet. Hier ein Beispiel (mit Datei als Input):

Delphi-Quellcode:

var
  TextReader : TJsonTextReader;
  StreamReader : TStreamReader;
begin
  StreamReader := TStreamReader.Create(FFileName);
  try
    TextReader := TJsonTextReader.Create(StreamReader);
    try
      ConvertSequential(TextReader);
    finally
      TextReader.Free;
    end;
  finally
    StreamReader.Free;
  end;
end;