JSONValue zu wenig Arbeitsspeicher bei Array von 100MB

[TiGü]

Zitat von stalkingwolf:

Das geht nicht. Der Content ist nicht von aussen erreichbar.

Nur zum Verständnis meinerseits:
Ihr telefoniert doch per REST-Komponenten mit irgendeiner Art Gegenstelle über Netzwerk/Internet, um das Array zu bekommen, richtig?
Also bspw. https://api.predic8.de/shop/products/

Kann man das nicht so umändern, dass ihr Zugriff auf das einzelne Item habt?
https://api.predic8.de/shop/products/62

Und das Image holt ihr euch dann z.B. so:
https://api.predic8.de/shop/products/62/photo

[stalkingwolf]

Ja und nein.
Es kann sein das der Webserver und der Fileserver zwei verschiedene Maschinen sind.
Dazu trennen wir dies mit Absicht.
d.h von aussen kann nur per API/JSON auf Daten zugegriffen und Dateien ausgetauscht werden.

Ich hab es nun so gelöst das ich mir erst den JSONArray mit der Filelist und danach die Dateien einzeln herunterlade.
Damit sieht der Kunde auch Progress pro Datei. Zugegeben sind 144MB per JSON auszutauschen im WLAN etwas zäh
Aber wenn der Kunde 5000x3000 Bilder hochladen muss, dann muss er damit leben.
Ist ja nur 1x am Tag.

[himitsu]

Binärdaten in JSON sind halt bissl unpraktisch.

ein Schmankl aus DataSnap
* das kann Binär oder JSON/REST (der große RAD-Server kann nur JSON)
* im JSON ist mehr Traffic und alles wird extrem langsam
* * das liegt aber nicht nur daran, dass es selbst bei Base64 33% mehr Daten sind
* Bei der Rest-API, wenn als Rückgabewert nur ein "Stream" kommt, dann wird Binär rausgegeben, anstatt JSON (hier wird also die Einschränkung seitens JSON umgangen)
* reinzu muß aber alles ins JSON (oder als Parameter in die URL)

Wenn das JSON wirklich extrem groß wird, dann muß man eben mit 64 Bit arbeiten, oder man besorgt sich einen JSON-Parser/Reader/Writer, der nicht alles auf einmal ins DOM lädt, sondern stückchenweise einliest/verarbeitet, bzw. speichert.

[TiGü]

Zitat von stalkingwolf:

Ja und nein.
Es kann sein das der Webserver und der Fileserver zwei verschiedene Maschinen sind.
Dazu trennen wir dies mit Absicht.
d.h von aussen kann nur per API/JSON auf Daten zugegriffen und Dateien ausgetauscht werden.

Ich verstehe immer noch nicht.
Kannst du den Webserver so abändern, dass ihr über die Kette Client -> Webserver -> Fileserver die Dateien holen könnt?
Du kannst temporäre Image-URLs verwenden oder die Bilder im Webserver cachen.

Beispiel:
https://api.predic8.de/shop/products/62/photo

NOCHMAL: Ziel ist es nicht, sich eine URL vom Fileserver geben zu lassen, sondern eine direkt vom Client abrufbare URL für die Binärdaten vom Webserver zu erhalten. So spart man sich das ganze Base64 Geraffel und muss dann auch wirklich nur die Bilder laden, die man dann braucht.

[stalkingwolf]

Ich bin ehrlich gesagt auf Seiten vom Webserver überfragt was machbar ist und ob das in dem Szenario Sinn ergibt.

Ich spreche es einmal mit dem Mitarbeiter durch welcher bei uns die Webserver administriert.