JSONValue zu wenig Arbeitsspeicher bei Array von 100MB

[stalkingwolf]

Folgendes Szenario. Wir fragen einen JSON Array mit Bildern ab, welcher teilweise über 100MB wird. z.b 20 Dateien a 5MB.

Wenn ich diesen auf Seiten meiner APP in FMX Anfrage wird der Array über 500MB und mit dem umwandeln von JSONValue in TJSONArray knallt mir das Programm mit der Meldung zu wenig Arbeitsspeicher weg ( 32Bit ca 1GB ist Ende ).

Auszug aus dem Quellcode :

Code:

var 
RESTResponse   : TRESTResponse;
JSONArray       : TJSONArray;
jValue          : TJSONValue;
begin
.
.
jValue      := RESTResponse.JSONValue; 
JSONArray   := TJSONObject.ParseJSONValue(TEncoding.UTF8.GetBytes(jValue.ToString),0) as TJSONArray;

Beide Zeilen bei 100MB Input ca 500MB Speicher. und ich kann es auch nicht wirklich umgehen.
Wenn ich das ganze im RestClient in Firefox anstarte verbraucht Firefox 2,7GB!

Frage ist. Gehe ich falsch an das Thema dran?
Ich werde nun unsere Aufrufe und Anfragen ändern, so dass ich die Dateien in kleinen Paketen übergebe und nicht einen großen Array.

[Bernhard Geyer]

Na dann kompilier doch mit 64-Bit.

Wenn man meint das man JSON-Daten mit 100 MB hat, dann muss man entweder "rumtrixen" um nicht für 100 MB-Text ein xfaches an Objekten zu haben
(Bei xml gäbes es ja Möglichkeiten "beim drüberlesen" nur relative wenige aktive Objektinstanzen zu haben.

Alternativ einfach ein 64-Bit Compilierung nehmen.
Dann braucht man halt viel RAM - Aber was solls. Dafür ist der RAM ja da.

[himitsu]

Effektiv bekommt man in Win32-Programmen (die standardmäßig nur 2 GB haben) ab etwa 700MB Probleme, wenn man versucht das als ein Block in den Arbeitsspeicher zu bekommen.
Denn der kleine Speicher ist fragmentiert ... überall liegen die EXE, DLLs und sonstwas rum.

Zusätzlich braucht man beim Laden von "Texten" vorübergehend bis zum 5-fachen als Speicher.

z.B.
* Datei laden (die Bytes) -> 1x (1 Byte pro Char)
* das in einen String konertieren t.B. Bytes mit ANSI drin in einen UnicodeString (TEncoding) -> 2x (2 Byte pro Char)
* und dann den String verarbeiten und die Inhalte in Einzelstrings kopieren -> 2x (2 Byte pro Char)
1+2+2 = 5

[TiGü]

Habt ihr Einfluss auf die Datenquelle?
Wenn ja, müsst ihr überlegen, ob das so gut ist, die großen Binary-Daten per Base64 in ein JSON zu packen.
Dafür war das eigentlich nicht gedacht. Sprich: Kann man so machen, aber dann ist es halt kacke.

Zum Weiterlesen:
https://stackoverflow.com/questions/...-a-json-object

[Bbommel]

Zitat:

Zitat von stalkingwolf (Beitrag 1485252)

Code:

jValue      := RESTResponse.JSONValue; 
JSONArray   := TJSONObject.ParseJSONValue(TEncoding.UTF8.GetBytes(jValue.ToString),0) as TJSONArray;

Hm, nicht direkt die Antwort auf deine Frage, aber über folgendes bin ich auch noch gestolpert. Du hast in jValue vom RestResponse schon das ausgewertete JSON stehen, gibst das dann wieder als String aus, um es erneut zu interpretieren und dann als JSON-Array einzulesen. Das ist ein bisschen wie eine Word-Datei ausdrucken, um sie dann wieder als PDF einzuscannen. ;-) Oder hat das hier irgendeinen Hintergrund, weil sonst die Bilder nicht richtig rüberkommen?

Ggf. brauchst du dadurch auch schon doppelt so viele Ressourcen wie eigentlich nötig, insofern hätte es dann schon etwas mit deinem Problem zu tun. Eigentlich sollte ein...

Delphi-Quellcode:

jValue      := RESTResponse.JSONValue; 
if jValue is TJSONArray then begin
  JSONArray := TJSONArray(jValue);
  // weiteres Zeug hier..
end;

...völlig reichen und spart Rechenleistung und Speicher.

[stalkingwolf]

Danke für die ganzen Antworten.

Die Daten waren am Anfang nicht vorgesehen das sie so groß werden, allerdings pumpt uns nun ein Kunde 5MB JPGs rein und zwar nicht 4-5 sondern 20-50.
D.h wie haben nicht direkt Einfluss darauf.

Daher habe ich atm auch nur ein 32BIT SDK drauf und wollte vorher prüfen ob es Alternativen gibt.

bezüglich dem wandeln in JsonValue. Da war noch eine Abprüfung dazwischen

Code:

erg  := copy(jValue.ToString,1,10);
if trim(erg) <> '[[null]]'  then begin

das habe ich nun aber umgeschrieben und benötige weniger Speicher. Aber dennoch ist es bei mehr Dateien dann das gleiche Ergebnis.

Ich werde nun das ganze umschreiben auf Einzeldateien.
Wir haben schon Zugriff auf Script was sendet und das APP was empfängt.

[TiGü]

Davon abgesehen, kannst du ggf. ein paar Schritte sparen.
Das folgende gilt für die mir vorliegende Delphi Tokyo Version, kann in späteren Ausgaben also anders aussehen.

Du holst dir vom RestResponse per Property JSONValue den geparsten JSON-Text als TJSONValue-Instanz.
Wie wir sehen, wird dafür den Inhalt von TCustomRESTResponse.Content erstmal geparst und die TJSONValue-Instanz konstruiert.

Delphi-Quellcode:

function TCustomRESTResponse.GetJSONValue: TJsonValue;
var
  LTemp: Boolean;
begin
  Result := nil;
  if Content <> '' then
    try
      GetJSONResponse(Result, LTemp);
    except
      // This method ignores exceptions
    end;
end;

Das wird dann innerhalb von TCustomRESTResponse.GetJSONResponse und tiefer in TJSONObject.ParseJSONValue und TJSONObject.ParseValue entsprechend komplexer, aufwendiger und speicherintensiv.
Dann nimmst du die TJSONValue-Instanz und rufst die ToString Methode auf.
Also um das gerade geparste Objekt wieder zu einen String zu konvertieren (Moment, was?).
Ich nehme an, wir kommen da in TJSONArray.ToString raus und erzeugen uns hier per TStringBuilder den Rückgabe-String.

Ich schlage vor, du versuchst mal folgende zwei Möglichkeiten:

1) Direkte Nutzung von RESTResponse1.Content

Delphi-Quellcode:

var
  JSONArray: TJSONArray;
  JValueAsString: string;
  JValueAsBytes: TBytes;
begin
  JValueAsString := RESTResponse.Content;
  JValueAsBytes := TEncoding.UTF8.GetBytes(JValueAsString);
  JSONArray := TJSONObject.ParseJSONValue(JValueAsBytes, 0) as TJSONArray;
end;

2) Direkte Nutzung von RESTResponse1.RawBytes

Delphi-Quellcode:

var
  JSONArray: TJSONArray;
  JValueAsBytes: TBytes;
begin
  JValueAsBytes := RESTResponse1.RawBytes;
  JSONArray := TJSONObject.ParseJSONValue(JValueAsBytes, 0) as TJSONArray;
end;

Ich bin mir an der Stelle nicht sicher, wie sich das da mit dem Encoding verhält.
Ihr konvertiert ja nicht ohne Grund explizit nach UTF-8.
Aber so als Startpunkt für weitere Optimierung ist das vielleicht schon eine gute Ausgangsbasis.

[TiGü]

Zitat:

Zitat von stalkingwolf (Beitrag 1485266)

Wir haben schon Zugriff auf Script was sendet und das APP was empfängt.

Dann so umändern, dass ihr da keine Base64-Binärdateien empfängt, sondern eine URL, mit der ihr später gesondert und einzeln die Bilder runterladen und verarbeiten könnt.

[Union]

Du könntest auf TJSONTextReader umstellen und als Datenlieferant den Response-Stream verwenden.

[stalkingwolf]

Zitat:

Zitat von TiGü (Beitrag 1485268)

Zitat:

Zitat von stalkingwolf (Beitrag 1485266)

Wir haben schon Zugriff auf Script was sendet und das APP was empfängt.

Dann so umändern, dass ihr da keine Base64-Binärdateien empfängt, sondern eine URL, mit der ihr später gesondert und einzeln die Bilder runterladen und verarbeiten könnt.

Das geht nicht. Der Content ist nicht von aussen erreichbar.
Aber vom Prinzip stelle ich das gerade auf einzeln um. Erst die Liste der Dateien und dann die Dateien einzeln.