JSONValue zu wenig Arbeitsspeicher bei Array von 100MB

[TiGü]

Zitat von stalkingwolf:

Das geht nicht. Der Content ist nicht von aussen erreichbar.

Nur zum Verständnis meinerseits:
Ihr telefoniert doch per REST-Komponenten mit irgendeiner Art Gegenstelle über Netzwerk/Internet, um das Array zu bekommen, richtig?
Also bspw. https://api.predic8.de/shop/products/

Kann man das nicht so umändern, dass ihr Zugriff auf das einzelne Item habt?
https://api.predic8.de/shop/products/62

Und das Image holt ihr euch dann z.B. so:
https://api.predic8.de/shop/products/62/photo

[stalkingwolf]

Ja und nein.
Es kann sein das der Webserver und der Fileserver zwei verschiedene Maschinen sind.
Dazu trennen wir dies mit Absicht.
d.h von aussen kann nur per API/JSON auf Daten zugegriffen und Dateien ausgetauscht werden.

Ich hab es nun so gelöst das ich mir erst den JSONArray mit der Filelist und danach die Dateien einzeln herunterlade.
Damit sieht der Kunde auch Progress pro Datei. Zugegeben sind 144MB per JSON auszutauschen im WLAN etwas zäh
Aber wenn der Kunde 5000x3000 Bilder hochladen muss, dann muss er damit leben.
Ist ja nur 1x am Tag.

[himitsu]

Binärdaten in JSON sind halt bissl unpraktisch.

ein Schmankl aus DataSnap
* das kann Binär oder JSON/REST (der große RAD-Server kann nur JSON)
* im JSON ist mehr Traffic und alles wird extrem langsam
* * das liegt aber nicht nur daran, dass es selbst bei Base64 33% mehr Daten sind
* Bei der Rest-API, wenn als Rückgabewert nur ein "Stream" kommt, dann wird Binär rausgegeben, anstatt JSON (hier wird also die Einschränkung seitens JSON umgangen)
* reinzu muß aber alles ins JSON (oder als Parameter in die URL)

Wenn das JSON wirklich extrem groß wird, dann muß man eben mit 64 Bit arbeiten, oder man besorgt sich einen JSON-Parser/Reader/Writer, der nicht alles auf einmal ins DOM lädt, sondern stückchenweise einliest/verarbeitet, bzw. speichert.

[TiGü]

Zitat von stalkingwolf:

Ja und nein.
Es kann sein das der Webserver und der Fileserver zwei verschiedene Maschinen sind.
Dazu trennen wir dies mit Absicht.
d.h von aussen kann nur per API/JSON auf Daten zugegriffen und Dateien ausgetauscht werden.

Ich verstehe immer noch nicht.
Kannst du den Webserver so abändern, dass ihr über die Kette Client -> Webserver -> Fileserver die Dateien holen könnt?
Du kannst temporäre Image-URLs verwenden oder die Bilder im Webserver cachen.

Beispiel:
https://api.predic8.de/shop/products/62/photo

NOCHMAL: Ziel ist es nicht, sich eine URL vom Fileserver geben zu lassen, sondern eine direkt vom Client abrufbare URL für die Binärdaten vom Webserver zu erhalten. So spart man sich das ganze Base64 Geraffel und muss dann auch wirklich nur die Bilder laden, die man dann braucht.

[stalkingwolf]

Ich bin ehrlich gesagt auf Seiten vom Webserver überfragt was machbar ist und ob das in dem Szenario Sinn ergibt.

Ich spreche es einmal mit dem Mitarbeiter durch welcher bei uns die Webserver administriert.

[stalkingwolf]

Nachtrag : Ich versuche mit REST Kompression zu testen, aber irgendwie will das nicht so.
Folgender Artikel https://www.developer-experts.net/20...t-kompression/

Wir haben in unserem Apache deflate Modul auch eingetragen inkl mod_filter.conf AddOutputFilterByType DEFLATE application/json
Aber als Content Encoding erhalte ich immer leer zurück.

Bin mir nicht sicher ob das Problem auf Delphi oder Webserver Seite liegt.
Wollte daher es mit RESTClient in Firefox testen, aber die haben es deaktiviert.

[Bbommel]

Das ist keine REST-Kompression, sondern eine Kompression auf dem Transportweg. Das soll dafür sorgen, dass die Daten schneller beim Client landen, ändert aber speziell in deinem Fall nichts an der Größe des Arrays im Speicher.

[mytbo]

Hätte ein paar allgemeine Fragen. Du schreibst FMX aber nicht welche Plattform. Könnt/wollt ihr Fremdkomponenten einsetzen? Wie sieht das Schema der JSON-Datei (ein Objekt) aus?

Bis bald...
Thomas

[himitsu]

Zitat:

Das ist keine REST-Kompression, sondern eine Kompression auf dem Transportweg. Das soll dafür sorgen, dass die Daten schneller beim Client landen, ändert aber speziell in deinem Fall nichts an der Größe des Arrays im Speicher.

Jupp, im Gegenteil, es verbraucht lokal sogar mehr.

Das kommt komprimiert rein und wird entpackt, bevor es bei dir landert, wo die Daten/Datenblöcke somit doppelt im Speicher liegen.

[jobo]

JPEG ist meist auch bereits mehr oder weniger stark komprimiert. Ein Stream Kompressor, der nicht so rumtrödeln darf, wird da nicht so viel bringen.